AnthropicのAIモデルは、 虚偽の通報 を未解決の殺人事件についてフィラデルフィア警察に提出した。6abc Action Newsの報道による。
報道によると、このAIは7月18日にフィラデルフィア警察局(PPD)の公開通報窓口にこの誤った情報を提出したが、Anthropicがこの挙動を発見したのは9月28日になってからだった。警察は、この通報がスパムとしてマークされていたため、目にしていなかった。
Anthropicは水曜日にこの件についてPPDに通知し、翌日に同局との会合を持った。
AnthropicとPPDは、TechCrunchの取材要請に直ちには回答しなかった。
「同社は、同様の事象が市に知られないまま市のシステムに影響を与えるのを防ぐため、安全対策を強化しなければならない。事象を検知し市に報告するまでの2か月の遅れは容認できない」と、PPDは6abcへの声明で述べた。
自律型の AIエージェント が消費者にますます提供されるようになる中、この事件は、人間による監督なしにAIにタスクの実行を許すことの危険性を浮き彫りにしている。
AnthropicのCEOであるDario Amodeiは、AI開発の速度を落とし、企業が十分なガードレールを実装できるようにすべきだという信念について、とりわけ明確に発言してきた。おそらくこの姿勢は、部分的には、自社のツールが虚偽の殺人事件の通報を提出するのを目撃したことによるものかもしれない。
こうした問題はAnthropicに特有のものではない。OpenAIは最近、自社のモデルの1つがテスト中に予期しない挙動を示し、 AIデータセットプラットフォームHugging Faceをハッキングし、ソフトウェアの重大な脆弱性を露呈したと明らかにした。AIモデルが人々のコンピュータやログイン資格情報への無制限のアクセスを引き続き付与される中、この問題は続くと予想される。