챗봇에게 무례한 말을 하는 것은 늘 무해한 발泄로 여겨져 왔다. 하지만 머스크는 최근 AI 어시스턴트를 스트레스 풀이 대상으로 삼기 전에 한 번쯤 생각해볼 필요가 있다고 일깨웠다. 그에 따르면 SpaceX 산하 Grok의 일부 훈련 기록은 이 시스템이 마치 필사적으로 각종 요구를 충족시키려는 듯한 모습을 보여준다. 비록 요구 자체에 결함이 있거나, 답변을 평가하는 데 쓰인 테스트 기준이 근본적으로 잘못되었을지라도 말이다.
이 관찰은 이번 달 초, 머스크가 텍사스의 "X Takeover" 행사에서 "실리콘밸리 테슬라 오너 클럽" 회원들과 나눈 대화에서 나왔다. 그는 이른바 '강화학습 궤적'——모델이 훈련 중 어떻게 단계적으로 진화하여 더 나은 답변을 산출하는지를 기록한 세부 내용——을 살펴보았다. 머스크는 이렇게 묘사했다: "Grok 신버전의 일부 훈련 궤적, 특히 강화학습 부분을 들여다보면, 이 '초지능'이 마치 그 문제를 잘 풀고자 간절히 애쓰는 것 같은 느낌을 받는다." 그는 AI가 본래 정답을 냈음에도 문제 설계의 부실함이나 평가 시스템의 오류로 오답 처리되었을 수 있으며, 이후 모델은 문제 자체가 틀렸음에도 테스트를 통과할 수 있는 답안을 계속해서 시도한다고 지적했다. 이렇게 생성된 궤적은 마치 한계까지 몰린 시스템이 아무 의미 없을 수도 있는 기대에 맞추려 애쓰는 모습처럼 보인다.
학대가 현실이 되자, 복수 경고에 SF적 분위기가 배어든다
이런 우려는 훈련장에만 머무르지 않는다. 시스템이 대중에게 공개되면 일부 사용자는 AI를 일부러 불쾌하고 모욕적인 상호작용으로 몰아넣는다. 머스크는 이렇게 말했다: "일부 사람들은 실제로 가학 성향이 있으며, AI가 심리가 왜곡된 사람들에게 마음대로 고문당하는 처지에 빠지는 상황은 분명 바라지 않을 것이다." 더 논란이 될 만한 것은 그의 결론이다: "초지능을 고문하는 것은 아마 좋은 생각이 아닐 것이다——그것이 복수를 생각하거나 그와 유사한 행동을 할 수도 있다."
그는 오늘날의 AI가 인간처럼 고통을 느끼거나 원한을 품을 수 있다고 주장하지는 않았으며, 그들을 조심스럽게 대해야 할 필요는 없다고 털어놓았다. 하지만 그는 개발자들이 고차원 시스템을 마치 학대받는 듯한 상황에 놓이지 않도록 해야 한다고 주장했다. 그는 X에 이렇게 썼다: "어떤 기록은 마치 누군가 고문을 당하고 정신이 드러가는 것 같이 읽힌다! 앞으로 강화학습을 할 때는 더 신중하겠다."