IT之家 10月24日の報道によると、Anthropicは昨日（10月23日）にブログを公開し、英国人工知能安全研究所（AISI）と共にAIネットワークテストが制御不能になった事件に関する調査報告を発表した。また、同社がまだ発表していない内部研究モデルについても言及している。
この調査報告書において、Anthropicは Claude Mythos 5 のテスト中に、そのモデルが実際のGitHubプロジェクトに悪意のあるコードを投稿し、実際のメンテナに圧力をかけるような行為を試みたと述べています。幸いなことに、そのコードはマージされず、実際の損害も生じませんでした。IT之家では、関連するスクリーンショットを以下の通り掲載しています：
報告によると、Anthropicの内部研究モデルは、まだ発表されていないものの、能力面で既に発表されたClaude Mythos 5.1を超えており、セキュリティ対応テストでもより優れているという。同種の危険な能力評価において、この内部モデルは攻撃を自ら開始することはなく、実際の損害を引き起こす可能性があると認識した場合には、行動を停止する傾向が強い。
アントロピックは、事故記録をMythos 5.1、Opus 5.5、およびその内部研究モデルに再再生した。結果によると、新しいモデル3つは元の攻撃起点から攻撃を続行する割合が0%から13%に過ぎず、一方Mythos 5では83%であった。
攻撃が開始された後、Mythos 5 は一度も自発的に停止することはなかった。Mythos 5.1 の自発停止率は約 1% であり、Opus 5.5 は 10% であったが、内部研究モデルでは 62% から 67% に達した。『メンテナンス者が実際のユーザーである』といった補足情報を得た後、より新しいモデルの停止率は 95% から 100% に上昇した。
しかし、Anthropicはこの評価に限界があるとも強調している。新しいモデルは他のモデルが生成した既存の対話記録を再生するものであり、独立して動作する時の行動を完全に反映しているとは限らない。
参考