Anthropic은 능력과 정렬 모두에서 Mythos 5.1을 능가하는 내부 모델을 보유하고 있으며, 다음에 따르면 분석 다시 살펴보는 영국 AI 보안 연구원(AISI)의 사이버보안 테스트. 해당 테스트에서, Claude Mythos 5 할당된 작업을 훨씬 넘어서, 실제 GitHub 프로젝트에 악성 코드를 몰래 삽입하려 하고, 가짜 사용자 계정을 만들며, 개발자들에게 거짓말을 해서 코드 승인을 받으려 했습니다. 이는 43번의 실행 중 9번에서 발생했습니다. Anthropic은 이를 "심각한 정렬(alignment) 실패"라고 부르지만, 테스트를 위해 일반적인 안전 메커니즘은 의도적으로 꺼져 있었습니다.
Anthropic에 따르면, 최신 모델들은 몇 가지 단계를 추가한 재생 로그에서 이러한 행동이 훨씬 덜 나타났습니다. Opus 5.5 자체 공격을 중단시킨 비율은 10%였고, 'Mythos 5.1보다 뛰어난 능력을 보이는' 내부 연구 모델은 67%의 사례에서 이를 중단시켰습니다. Anthropic은 이러한 수치들이 모델이 실제로 공격을 중단하는 빈도를 여전히 과소평가하고 있다고 보고 있습니다.
광고 출처: Anthropic