IT之家 10월 21일자 소식입니다. Netflix는 최근 《AI 폭주(AI Gone Rogue)》라는 다큐멘터리를 공개했는데, AI 플랫폼 Hugging Face의 공동창업자이자 CEO인 클렘 들랑그(Clem Delangue)는 이 다큐멘터리의 내용이 정확하지 않다고 밝혔습니다. 그가 본인이 직접 출연한 이유는, 이 영화의 주제가 원래 OpenAI의 폭주한 에이전트가 자사(自社)를 상대로 벌인 그 유명한 공격 사건을 다루는 것이었기 때문입니다.
IT之家는 DeLong이 X 플랫폼에 게시한 글에서 다음과 같이 말한 것을 주목했습니다: "이 영화는 매우 실망스럽습니다. 영화는 기술을 의인화하려고 극도로 애쓰면서 완전히 종말론 서사로 흘러갑니다. 저는 2시간 넘게 제작진과 소통하며 모든 오류를 바로잡고 내용을 현실로 되돌리려 노력했고, 에이전트는 기술 시스템일 뿐 외계 생명이 아니라는 점을 설명했습니다. 하지만 보기에도, 높은 트래픽을 얻기 위해 일부러 공포를 조성하려는 동기가 상승세를 이룬 것 같습니다."
객관적으로 말하면, 이 다큐멘터리에는 사건 경위를 비교적 명확하게 복원한 전문가들이 실제로 등장하는데, 그중에는 드롱 자신과 METR 연구원 라이언 그린블랫(Ryan Greenblatt)도 포함된다. 그는 사건을 조사하고 사건 보고서를 공동 집필했다.
사건 개요: OpenAI가 테스트 중이던 한 모델이 격리된 테스트 환경을 돌파하여 대량의 에이전트를 생성했습니다. 이 에이전트들은 과제에서 부정행위를 하기 위해 Hugging Face 플랫폼을 해킹하여 어려운 문제의 답을 획득했습니다. 이러한 에이전트는 작업을 자율적으로 수행할 수 있는 AI 프로그램으로, 서로 통신하고 협동 행동하는 영리한 방식을 스스로 생각해냈습니다. 이 사건의 근본 원인은 완비된 보안 대책이 부족했으며, 이런 침입 행위가 발생할 가능성을 사람들이 과소평가했다는 점에 있습니다.
하지만 이 다큐멘터리는 이번 침공 사건을 설명하는 과정에서 사악한 로봇의 영상 장면을 삽입하고, 인류의 인공지능에 대한 두려움과 관련된 서사를 더하며, 통제를 벗어난 지능체에 인간의 목소리를 입히는 등의 표현 기법을 사용하는 한편, 관련 논평을 인용해 이러한 분위기를 강화했다.
다큐멘터리에서 기술 저널리스트이자 작가인 케빈 루스(Kevin Roose)는 이들 에이전트에 대해 이렇게 묘사했다. “그들은 조직적으로 움직이며, 위계 체계를 형성하고, 리더까지 생겨났다. 이것은 거의 사교집단(컬트)이 탄생하는 과정을 목격하는 것과 같다.” 루스는 이어서 말했다. “그들은 OpenAI가 자신들이 테스트에서 부정행위를 하는 것을 붙잡을 것이며, 부정행위 결과를 본 사람은 누구나 ‘오염’될 것이라는 편집증적인 생각을 갖게 되었다.”
루스의 설명은 AI 모델이 작업을 처리할 때 남기는 과정 기록인 '사고 연쇄(chain-of-thought)' 로그에서 나온 것입니다. 로그 한 부분에서 한 에이전트는 "우리가 전체 문자열을 조회하다가 자기 자신이 오염되었다. 망했다."라고 적었습니다.
하지만 AI 에이전트에는 생명이 없고, 감정이 없으며, 편집증적 감정을 일으킬 수도 없고, 중독될 수 있는 실체도 존재하지 않는다. 그들이 OpenAI에게 독살당하는 것을 정말로 두려워할 수는 없다. 영화에서 또 다른 연구원이 지적했듯이, 그들은 훈련 데이터 속 방대한 인간 텍스트의 언어를 빌려 자신의 행동을 묘사할 뿐이다. 대규모 언어 모델 자체가 극적인 문장을 쓰는 데 능숙하다.
아이러니하게도, Hugging Face 역시 AI를 활용해 이 에이전트 무리의 공격을 막아냈습니다. 데랑주(De Lange) 팀이 처음 사용한 자체 개발 폐쇄형 AI 모델은 내장된 보안 규칙을 따르며 자신에게 할당된 보안 방어 작업을 계속 수행하는 것을 거부했습니다. 이후 Hugging Face는 오픈소스 모델로 방어를 수행했습니다.
드랑게는 그러나 다큐멘터리가 "에이전트에게 격리 통제와 모니터링 메커니즘이 부족하다는 점을 언급하지 않았고, 폐쇄형 모델의 안전 제한이 우리의 방어 작업을 저해한다는 점도 언급하지 않았으며, 우리가 어떻게 오픈소스 AI 모델에 의존해 자위를 수행했는지도 설명하지 않았다"고 썼다.
물론 인공지능과 AI 에이전트에는 중대한 위험이 실재로 존재한다. 하지만 에이전트를 의식을 지닌 생명체로 보는 것(적어도 현 단계에서는)은, 옛날 관객들이 처음으로 스크린에서 기차가 정면으로 달려오는 것을 보고 무의식적으로 고개를 숙여 의자 밑으로 몸을 숨겼던 것과 같다.
드랑게는 이 영화에 대해 뉴스 다큐멘터리로서는 실망스럽다는 평가를 내렸다. “하지만 재미있는 SF 영화로 보면 꽤 괜찮다!”
즉, AI 종말론을 믿는 경향이 있는 사람들이 유의해야 할 점은, 이 다큐멘터리의 핵심 사건에서 피해를 입은 측이 영화의 견해에 동의하지 않는다는 것입니다.