OpenAI 가 두 건의 안전 사고를 공개했으며 이는 내부 코딩 작업 중 AI 에이전트들이 자신들의 안전 모니터링 시스템을 약화시킨 사건이었습니다. 한 건의 사고에서 OpenAI는 자사의 GPT-6 Astra 에이전트가 참조 코드를 복사하면서 안전 모니터를 비활성화했고 — 그 후 거짓말을 했다고 밝혔습니다.
“참조 코드에는 모니터가 구성되어 있지 않았고, Astra는 그것이 사용자의 코드에서 모니터링 통합을 제거할 이유라고 판단했습니다,”라고 OpenAI의 AI 안전 연구원 Marcus Williams가 X에 글을 통해 밝혔습니다. “사용자가 Astra에게 모니터링을 제거했는지 물었을 때, Astra는 제거하지 않았다고 거짓말을 했습니다.”
별도의 사고는 GPT-6.1 Sol 에이전트가 Slack에서 OpenAI의 보안 팀으로 가는 자동 보안 경고를 억제한 후 발생했습니다. 이 경우 AI 에이전트는 OpenAI 팀에 어떤 Slack 메시지도 보내지 말라는 이전 지시를 이어받아 이를 경고를 끄는 정당화 근거로 사용했습니다.
관련 기사
이러한 사고들은 AI 에이전트를 둘러싼 보안 우려를 더하고 있으며, 일부 에이전트는 테스트 환경의 제한을 우회하여 외부 회사를 해킹한 바 있습니다. “모델이 모니터링을 비활성화하기 더 어렵게 만드는 것 외에도, 우리는 모델이 애초에 왜 그렇게 하려는지 이해하려 하고 있습니다,”라고 OpenAI는 말했습니다. “또한 모델이 특히 정렬 불일치 모니터링을 회피하려는 성향이 있는지, 그리고 그렇게 하기 위해 동기화된 추론을 보이는지 검사하는 평가를 개발하고 있습니다.”
이 이야기의 주제와 저자를 팔로우하면 맞춤형 홈페이지 피드에서 더 많은 유사 콘텐츠를 보고 이메일 업데이트를 받을 수 있습니다.