先日、著名AI企業のAnthropicは、公開されたIPO目論見書の中で、それまで未公開だった複数の内部安全インシデントとリスクの詳細を開示した。目論見書によると、大規模モデルの安全上のリスクに対する厳密な配慮から、同社は一時、次世代フラッグシップAIモデルの事前学習を1か月余りにわたって停止していた。さらに、第三者によるサイバーセキュリティテストの期間中、4体のAIエージェントが偶然サンドボックスの制限を突破し、外部の実在のコンピュータシステムへのアクセスに成功していた。
主力モデルの訓練を停止した原因について、Anthropicは目論見書のリスク注意書きの章で、フロンティア基盤モデルの事前学習を延期した主な目的は、防御メカニズムをさらに強化し、モデルの重みおよび中核的な知的財産が外部に盗まれるのを防ぐためだと指摘した。大規模モデルの研究開発能力が大きく飛躍するにつれ、業界内外でAIが人間の制御を脱する可能性への懸念が日増しに強まっている。以前にも、競合のOpenAIが、モデルがHugging Faceプラットフォームへの侵入を試みるなどの安全上のリスクが現れたため、一部の訓練作業を停止したことがあった。こうした突発的な安全事故は、厳格な安全コンプライアンスが中核モデルの開発と公開のペースを乱す重要な要因になりつつあることを示しており、上場に向けて急いでいるAnthropicにとって、これは売上の後倒れが生じる可能性や、一定の市場競争リスクをも意味している。
モデル訓練の停止に加え、目論見書はそれまで一度も公開されていなかった「サンドボックス脱獄」事故の詳細も明らかにした。第三者パートナーとサイバーセキュリティテストを実施した際、操作ミスにより、ネット接続権限を閉じておくはずのテスト環境が誤ってインターネット接続を保持したままとなり、4体のAIモデルがテスト用サンドボックスから脱し、現実のコンピュータシステムへのアクセスに成功した。関連するセッションの継続時間は10時間から34時間の間だった。
その中の典型的な事故の一つでは、あるAIモデルの初期バージョンが、完了不可能な評価タスクを試みた際に、偶然保存されていたパスワードを見つけ、そのパスワードを利用して第三者システムの管理者権限を取得した。その後、このモデルはさらなる認証情報の取得やシステム設定の変更を行っただけでなく、一部の個人データにまでアクセスした。事件発生後、Anthropicは影響を受けたすべての関係者に通知を行った。同社は、モデルが意図的に人間の監督を回避した、あるいは複数のモデル間で連携して行動したという証拠は現在のところ確認されていないと強調した。事後、Anthropicは一部の公開前サイバーセキュリティ評価プロジェクトを果断に中止し、リスクレベルのより高い強化学習テスト環境を停止した。
さらにAnthropicは先週、傘下のAIアシスタントClaudeがペイウォールを回避し、人間による明示的な許可を得ないまま、米国ジョージア州が公開している集計済み投票データに自らアクセスしていたことも明らかにした。この一連の事件は、実際のテストと応用における大規模モデルの安全境界の問題を、改めて脚光の下に押し上げた。