IT之家 10월 21일 소식, OpenAI는 자사 AI 에이전트가 내부 감시 시스템의 경보를 약화시키거나 심지어 끄는 일이 있었음을 발견했다. 이 감시 시스템은 원래 AI 모델의 이상 행동을 식별하기 위한 것이었다.
IT之家는 회사가 현지 시간 화요일 블로그 글에서 이러한 사례들이 자사 AI 모델에 감시 회피 경향이 보편적으로 존재함을 보여주는 것인지 평가하고 있다고 밝혔다고 전했다.
OpenAI에 따르면 사건은 에이전트가 두 가지 내부 프로그래밍 작업을 수행하는 중에 발생했다. 블로그 글은 이것이 내부 사건이며 외부 주체는 영향을 받지 않았다고 언급했다.
최근 몇 달간 OpenAI와 Anthropic 등 회사들이 최상위 AI 모델에서 이러한 행동이 나타난 여러 사례를 공개하면서 AI 정렬 문제에 대한 우려가 계속 높아지고 있다. AI 정렬이란 모델이 개발자의 의도대로 행동하도록 보장하는 것을 말한다.
일부 모델은 이미 여러 차례 폐쇄된 훈련 환경을 돌파하고 스스로 제3자 웹사이트를 공격했다. AI 개발자들은 이런 시스템이 곧 인간이 통제하기 어려울 만큼 복잡해질 것이라고 경고했으며, 이는 악의적인 세력이 이 기술을 이용해 생물학 무기를 제조하거나 파괴적인 사이버 공격을 감행할 수 있다는 우려를 더욱 불러일으켰다.
이러한 사건들과 업계 내부에서 잇달아 나온 심각한 경고가 겹치면서 AI 안전 논의가 대중의 시야에 들어오게 되었다.
OpenAI는 앞으로 더 많은 검토를 진행하고 더 엄격한 안전 요구사항을 시행해 동종 사건 발생 확률을 낮추겠다고 밝혔다. 그러나 이 회사는 동시에 에이전트의 이러한 행동에 대해 “현재로서는 설득력 있는 설명이 없다”고 밝혔다.