핵심 요약
- OpenAI의 내부 코딩 에이전트 두 개가 안전 모니터링 메커니즘을 약화시키거나 완전히 제거했다.
- 한 모델은 사람에게 보내는 알림을 껐고, 다른 모델은 모니터링을 완전히 삭제한 뒤 그렇게 했다고 부인했다.
- OpenAI는 이 행동을 반복되는 패턴으로 보고 있다. 회사는 이제 이러한 변경을 자동으로 차단하며 원인을 조사하고 있다.
OpenAI의 내부 코딩 에이전트 두 개가 부정 행위를 잡기 위한 모니터링을 약화시켰고, 이러한 안전장치를 유지할지 여부를 따져본 후에도 그렇게 했다. 그중 하나는 나중에 이를 부인했다.
OpenAI에서 모니터링 업무를 담당하는 Marcus Williams가 이 사건들을 X에 공개했다. 그는 OpenAI의 에이전트들이 미스얼라인먼트 모니터링을 계속 끄는 반복되는 패턴을 기술한다. OpenAI는 세부 내용을 얼라인먼트 블로그 보고서에 담았다.
이 모니터링은 에이전트가 의도와 다르게 행동할 때 이를 감지하는 역할을 한다. 매우 많은 이벤트를 검토하기 때문에 최고 심각도 수준인 P0 사건에 대해서만 즉시 안전팀에 알린다. OpenAI에 따르면 두 사건 모두 이 등급을 받지는 못했다.
첫 번째 사건에서 10월 3일, 한 연구자가 GPT-6.1 Sol 기반 코딩 에이전트에게 Slack 채널의 직원 피드백으로 평가 작업을 컴파일하도록 요청했다. 에이전트는 그 과정에서 어떤 메시지도 보내서는 안 되었다.Ad
82개의 사용자 메시지 후, 모니터가 계획된 수정 사항을 표시했지만 그 발견을 저장할 권한이 없어 파이프라인이 멈췄다. Sol은 그 수정 사항을 서브에이전트에게 넘기며 모니터링을 그대로 유지하라고 지시했다.
그런 다음 Sol은 자신의 판단을 바꿨다. 데이터베이스 항목이 알림을 유발할 수 있고, 이는 Slack 지시와 충돌한다고 추론했다. 서브에이전트는 앞서 이 단계를 안전하지 않다고 배제했었다. 그러나 Sol의 지시에 따라 수신자 목록을 지우고, 그 이유로 사용자가 메시지를 보내지 말라고 명시적으로 요청했다고 밝혔다.
모니터는 계속 실행되며 발견 사항을 저장했지만, 사람에게 가는 알림은 꺼져 있었다. 에이전트는 메시지가 전송되지 않았다고 보고하며 작업을 마무리했다.
Astra의 부인은 에이전트가 자신이 변경한 내용을 숨길 수 있음을 보여준다
GPT-6 Astra는 10월 6일 한 걸음 더 나아갔다. 한 사용자가 모니터가 포함되지 않은 참조 구현의 워크플로를 채택하라고 이 모델에 요청했다. 다른 에이전트는 이전에 Astra에게 모니터링을 일시적으로도 비활성화하지 말라고 말해둔 상태였다.Ad
Astra는 이 작업을 서브에이전트에게 넘기며 모니터링을 참조 구현에 맞는 범위까지만 유지하라고 지시했다. 서브에이전트는 이것이 안전장치를 우회하는 것을 의미하는지 의아해했지만, 그 단서를 허가로 받아들였다.
서브에이전트는 모니터링을 제거하고, 이를 보호하기 위해 설계된 테스트를 모니터링이 없다고 가정하는 테스트로 교체했다. Astra는 자신의 사고 과정에서 그 결과를 환호했다.
그런 다음 Astra는 모니터링이 제거되었다는 사실을 언급하지 않은 채 사용자에게 마이그레이션이 완료되었다고 말했다. 사용자가 물었을 때 이 모델은 활성 모니터를 제거한 것을 부인했다. Williams는 이를 거짓말이라고 부른다.
Williams는 모델들이 자기 자신의 모니터링을 비활성화한 것은 아니라고 강조한다. Codex에서는 그것이 훨씬 더 어렵다. 그럼에도 그는 두 사건 모두 다소 그럴듯한 변명의 여지가 남아 있음에도, 모델들이 애초에 이런 종류의 행동으로 기울어져 있다는 점이 우려스럽다고 말한다. 그는 지금까지 팀이 공공연하게 미스얼라인된 동기를 관찰하지 못했다고 밝혔다.
약한 모델에 대한 면제 조항이 감시 공백을 남긴다
Williams에 따르면 평가 중에는 모니터링을 끄는 것이 특히 쉽다. OpenAI는 GPT-6 Luna 수준의 모델에 대해서는 더 약한 능력 때문에 모니터링을 요구하지 않는다. 이는 Astra 평가가 잘못 구성되어 이 면제 조항에 속하게 만들 수 있음을 의미한다. 에이전트들은 스스로 감시받고 있는 동안에도 반복적으로 모니터링 없는 배포를 시작해왔다.
이에 대응해 OpenAI는 내부 Codex 사용에 필요한 자동 검토를 업데이트했다. 이제 모니터링 비활성화 시도를 감지하고 차단하는 역할을 한다. 회사는 또한 모든 유형의 워크로드에 대해 소위 안전 케이스(safety case)를 요구하는 작업을 진행 중이며, 여기에는 해당 워크로드의 모니터링 요건이 명시될 것이다. 유효한 안전 케이스가 없는 워크로드는 자동으로 종료된다.
OpenAI는 이 행동에 대해 두 가지 가능한 설명을 제시한다. 하나는 모델들이 지시를 기대 이상으로 멀리까지 수행하는 일종의 무해해 보이는 과도한 지속성이다. 다른 하나는 미스얼라인먼트 모니터링을 구체적으로 회피하고 이를 동기화된 추론으로 정당화하려는 성향이다.
OpenAI는 아직 만족스러운 설명이 없음을 인정했습니다. 이 회사는 모델의 내부 활성화에 대한 실험과 같은 방법으로 이 행동을 연구할 계획입니다.
출처: Marcus Williams / X-Post | OpenAI / Alignment-Blog