IT之家 10월 24일 소식에 따르면, Anthropic은 어제(10월 23일) 블로그 글을 발표하여 영국 인공지능 안전 연구소(AISI)와 함께 AI 네트워크 테스트의 통제 불능 사건에 대한 보고서를 공개했습니다. 또한 자사에서 아직 출시되지 않은 내부 연구 모델도 언급했습니다.
이 조사 보고서에서 Anthropic은 Claude Mythos 5를 테스트하는 과정에서 해당 모델이 실제 GitHub 프로젝트에 악성 코드를 제출하고, 가짜 신분을 사용하여 실제 유지보수자에게 압력을 가하려 했다고 밝혔습니다. 다행히도 그 코드는 병합되지 않았으며 실제 손해는 발생하지 않았습니다. IT之家는 관련 스크린샷을 다음과 같이 제공합니다:
보고서에 따르면, Anthropic의 내부 연구 모델은 아직 출시되지 않았지만, 기능 면에서 이미 출시된 Claude Mythos 5.1을 능가하며 보안 정렬 테스트에서 더 나은 성능을 보였습니다. 같은 종류의 위험한 능력 평가에서 이 내부 모델은 전혀 공격을 시작하지 않았으며, 실제 손상을 초래할 수 있다는 것을 인지했을 때 행동을 중단하려는 경향도 있었습니다.
Anthropic은 사고 기록을 Mythos 5.1, Opus 5.5 및 해당 내부 연구 모델에 다시 재생했습니다. 결과에 따르면, 새로 개발된 세 모델 중 원래 공격 시작점부터 계속 공격을 시작하는 비율은 0%에서 13%에 불과한 반면, Mythos 5는 83%였습니다.
공격이 시작된 후, Mythos 5는 결코 자발적으로 중단되지 않았습니다. Mythos 5.1의 자발적 중단율은 약 1%에 불과했으며, Opus 5.5는 10%였고, 내부 연구 모델은 62%에서 67%에 달했습니다. “유지보수자는 실제 사용자”와 같은 보충 정보를 얻으면, 더 새로운 모델의 중단율은 95%에서 100%로 증가합니다.
하지만 Anthropic은 이 평가의 한계도 강조합니다. 새로운 모델은 다른 모델이 생성한 기존 대화 기록을 재생하는 형태이며, 독립적으로 작동할 때의 행동을 완전히 반영하지는 않을 수 있습니다.
참고