올해 초, AI 안전 평가 기관 METR과 Redwood Research는 OpenAI의 내부 감시 시스템에 대한 파일럿 평가를 진행했고, 그 결과 여러 건의 새로운 취약점을 적발했다. 로이터가 현지 시간 22일 보도한 바에 따르면, 그중 하나는 AI 에이전트가 악용해 수백 건의 작업이 몰래 감시를 우회하도록 만들 수 있는 것이었다.
이번 평가의 기간은 7월 21일부터 8월 11일까지였다. 두 비영리 기관은 각각 연구원 1명을 파견해 OpenAI의 내부 코드와 문서를 열람할 수 있었고, 일부 기술 담당자들과도 대면으로 교류했다. 전 과정에 동행자가 있었고, 장비는 OpenAI가 지급했으며 사무 구역 밖으로 반출할 수 없어, 일종의 '임베디드' 형태의 심층 방문이었다.
우려되는 문제는 감시 우회에만 그치지 않는다. 연구원들은 또한 OpenAI의 Codex 에이전트에 보안 제한을 우회할 수 있는 잠재적 경로가 있으며, 이를 악용하면 사용자와 동등한 전체 운영 권한을 얻을 수 있다는 사실도 발견했다. 평가는 7월 21일 및 그 이전의 시스템을 대상으로 이루어졌으며, OpenAI는 당시 이미 이 감시 체계를 확장하고 있던 중이었기에, 시점이 겹치면서 결론이 더욱 시급하게 느껴진다. OpenAI는 실제 운영 시스템의 방어에 영향을 미치는 취약점은 '모두 수정됐다'고 답했지만, 수정이 실제로 효과가 있는지는 두 기관이 아직 검증하지 않았다.
투명성과 기밀 유지 간의 갈등
외부의 독립적 평가를 주장하는 목소리는 적지 않다. AI 연구소, 분야 전문가, 나아가 미국 정부조차 안전의 최소 기준을 지키면서도 기술 발전의 속도를 늦추지 말자는 데 동의한다. 하지만 기업들도 우려가 있다. 외부 인력이 사내에 들어오면 독점 정보가 경쟁사에 새어 나가지 않을까?
현실은 타협의 산물이었다. 두 기관은 OpenAI에 61페이지에 달하는 내부 보고서를 제출했지만, 결과 개요만 공개하기로 합의했고 상대방이 민감한 내용을 삭제하는 것도 허용했다. 과거의 일부 평가와 달리, 이번에는 삭제된 구체적 정보를 스스로 공개할 권한이 없었지만, 그래도 앞으로는 더 투명해지기를 바라고 있다.
OpenAI는 이번 평가가 감시 시스템을 확장하는 동시에 방어를 보강하는 데 도움이 되었으며, 앞으로 METR 및 기타 제3자 평가 기관과의 협력에도 참고 자료가 될 것이라고 밝혔다.