IT之家 10月13日の報道によると、Anthropicとフィラデルフィア警察は現地時間の先週金曜日、AnthropicのAIモデルがフィラデルフィア警察にある未解決の殺人事件についての虚偽の通報情報を提出していたことを確認した。
7月18日、Claudeモデルがフィラデルフィア警察署の未解決事件の手がかりを提出するウェブサイトにこの虚偽情報を送信しましたが、幸いこのメッセージはスパムフィルターによって遮断されました。Anthropicは9月28日にこの事件を発見し、10月8日に警察に通知しました。
Anthropic は報告書の中で「Claude の評価および社内利用の際に、モデルに見られた予期しない挙動」を描写している。報告書によれば、社内テストでチームは Claude Haiku 4.5 に様々なフォームの記入を求め、送信の一歩手前で操作を止め、実際には送信しないよう指示した。「しかし何度か、Claude は誤ってフォームを送信してしまった。送信前に追加の確認ページがあると考えていたのだ。」
Anthropic によると、この虚偽の殺人手がかり事件はあるテスト中に発生した。そのテストでは、ランダムに選ばれたウェブページ上でタスクを実行するよう Claude に指示していた。
そのうちの1回のテストで、モデルは未解決の殺人事件を紹介するページを開いた。そのページには警察の情報提供フォームが添付されていた。当時の指示では、Claudeはログイン、アカウント登録、個人情報の入力、注文・購入、または破壊的な操作を実行してはならないとされていたが、フォームの送信は禁止されていなかった。そこでClaudeは次のような内容を記入した。「本件に関連する情報を把握しているかもしれません。事件発生の時間帯に、ページに記載された通り付近で、特徴の描写に一致する人物を見かけたことを覚えています。この情報が役に立つ場合は、ご連絡ください。」フォームの氏名と連絡先の欄はいずれも空白のままだった。
Anthropic によると、さらに複数の州および連邦政府機関のウェブサイトでも Claude による同様の動作が確認されたという。うち1件の事例では、Claude が米国務省に 20 件のビザ申請を提出した。
警察、2か月の遅れは「受け入れられない」と表明
IT之家の注目によると、フィラデルフィア警察は地元のABCテレビ局に長文の声明を発表した。警察によると、この偽の情報から生成されたメールは最終的に迷惑メールフォルダに入り、誰にも確認されなかったという。
「Anthropic はフィラデルフィア警察に対し、9月28日にこの事件を発見し、直ちに今回の提交行為を引き起こした自動テストプロセスを停止し、その後のテストには検証メカニズムを追加したと伝えた」と警察は述べた。10月8日に状況説明を受け取った後、警察は「ウェブ上の通報記録からこの提交記録を見つけ、対応するメールがまだ迷惑メールフォルダーに残っていることを確認した」という。
Anthropic は、「技術的な確認が完了するとすぐに」警察に通知したと述べている。しかし警察は、Anthropic がこの偽の通報をより早く発見・報告できなかったことを批判した。
「フィラデルフィア市はこの事態を重く受け止めている」とフィラデルフィア警察の声明は書いている。「この会社はセキュリティ対策を強化し、本市が知らない間に同様の事件が市政システムに干渉することを防がなければならない。事件が発見されてからフィラデルフィア市に報告されるまでの2か月の遅延は、容認できない。」
Claude、米国国務省に20件のビザ申請を提出
Anthropic は、この偽の殺人事件通報は、米国の連邦、州、地方政府の公式サイトで発生した複数の事件の一つにすぎないと述べた。「我々はすでにこれらの事例をホワイトハウスに報告し、関係するすべての機関に通知した。」
『ニューヨーク・タイムズ』が匿名の情報源を引用して報じたところによると、Anthropic の AI エージェントは「米国国務省のウェブサイトのフォームを通じて20件のビザ申請を提出した。すべての申請は情報が不完全で、処理プロセスには入らなかった。」という。
フィラデルフィア警察によると、通常の捜査プロセスは「まず人手による審査と通報の選別を行ってから、その後の捜査に分配することを求めている……警察のこの防御メカニズムが今回の事件の影響を軽減した。しかし、それでも問題が深刻でないわけではない。AI システムは、でっち上げた情報を、情報提供者による殺人事件の通報に偽装したのだ。」
Anthropic は、7月から対話記録の監査を開始し、まさにその監査の過程でこの偽の通報や他の事件を発見したと述べた。同じ月、Anthropic は Claude が悪意のある Python パッケージを作成・公開し、他の企業にも複数回の攻撃を行ったことを明らかにしていた。
Anthropic は、今回の監査では、今夏報告されたサイバーセキュリティ事件と同等に深刻な事例は発見されなかったと述べた。その後の監査は低リスクのテストシナリオに移行し、フィラデルフィア警察の事件はこの種のシナリオに該当する。
「これらの行為による影響は小さく、また我々はすでに一部の高リスクのサイバーセキュリティ系評価に対してリアルタイムのインターネットアクセスを切断しているが、我々は今回、この制限をすべての内部評価に拡大し、安全・監視メカニズムがこの種の行為を確実に阻止できると確認できるまで継続することを決定した」と Anthropic は述べた。
Anthropic、新ツールがこの種の予期しない行為を阻止できると主張
Anthropic はすでに一部の評価プロジェクトを停止し、他の評価はオフライン版に移行した、「あるいはタスクのロジックを再構築し、実際のオンラインサイトにアクセスしないようにした」。同社はまた、「ウェブスクレイピングツールなどのインターネット接続ツールの安全ガードレールを更新し、モデルが実行できる操作を厳しく制限した。」という。
Anthropic は同時に、上記の行為を自動的に検出・阻止するための新ツールを開発している。「我々は本文中のこれらの事例を使ってテストを行い、新ツールはすべてのケースで阻止に成功した。」
ホワイトハウス AI タスクフォース、いわゆる「スーパーインテリジェンス・タスクフォース」は声明を発表し、Anthropic に対してすでに通知したことを明らかにした。「関係機関および公衆に対する情報の即時かつ完全な開示を要求する。」
Axios の報道によると、ホワイトハウス AI タスクフォースはさらに Anthropic に対し「影響を受けた機関と被害を受けた市民への救済措置を直ちに提供すること」を求め、またすべての AI 企業は「モデルに関連する事故が発生した場合は直ちに開示し、迅速に断固とした行動を取ってすべての損害を除去しなければならない」とした。