IT之家 10月5日の報道によると、アメリカのフロリダ州リー郡の30歳の女性が、AnthropicのチャットボットClaudeとの対話で地元保安官事務所に対する暴力的な脅迫を書き込んだ疑いで逮捕された。
現地警察の報告によると、ボニタスプリンスの住民であるカーリ・ミシェル・ヘラーが9月26日の会話で、リー郡保安官事務所に発砲すると述べたとのことです。この内容によりAnthropicのセキュリティリスクメカニズムが作動し、Claudeが人工審査および法執行部門に報告されました。
地元メディアのWINK Newsの報道によると、カーミン・マルチェノ警察署長は同メディアに対し、ヘレが後にAIを「日記」として使ったと述べたと語った。
調査員によると、Anthropicはセキュリティメカニズムを通じてキーワードや潜在的脅威内容を監視し、関連情報は深刻度に応じて人間のレビューに移され、その後人間チームが確認した後で現地の法執行機関に連絡されるという。
報告が届いた後、現地の警察官がその住居に向かい、その女性を「無交渉拘留」とした。その後、李県警長室の捜査官が事件を処理した。ヘラは調査員に対し、現在彼女は書面による暴力脅迫の罪で起訴されているが、まだ裁判所での有罪判決はないと語った。
フロリダ州法規第836.10条によると、他人が閲覧できる書面または電子記録を通じて、殺人を脅迫したり、身体的傷害を与えたり、大規模な銃撃を行ったり、恐怖行為を実施したりする場合、二級重罪となる可能性があります。同法規では、この規定が電子記録にも適用され、上記のような脅威が含まれる記録を他人に送信、公開、または配布することも犯罪となると明記されています。 本件のClaudeの対話が具体的な法的構成を満たしているか、また検察側が司法手続きの中で犯罪事実を証明できるかについては、依然として裁判所が判断する必要がある。
マルチェノは、AIが脅威の発生方法を変える可能性があると述べましたが、李県の住民を守る約束は変わりません。AIを利用して脅威を実行したり、助けるような行為があった場合、警察は真剣に取り組まなければなりません。
同時に、この事件はチャットボットのプライバシー境界に関する議論も引き起こした。Anthropicが現在公開している政府情報の要求方針によると、同社は通常、有効な法的手続きを受けた後にのみ政府にユーザー情報を開示する。しかし、何らかの緊急事態が即時の身体的損害や死亡を引き起こす可能性があり、迅速な情報提供が危険を避けることにつながると判断された場合には、緊急開示の例外がある。
アントロピックが2026年7月に更新した透明性ページでも、同社がセキュリティチームを使用して利用ポリシーの実施に関する検出と監視メカニズムを設計・実施し、法執行機関や政府からの緊急開示を含むデータ要求に対応していることが明らかになった。 これにより、Claudeを私用日記として使用するということは、関連内容が必ずしもユーザー自身のみに見られるという意味ではない。プラットフォームは、セキュリティと利用規約に基づき、一部の内容を検査・審査する可能性があり、適切な条件が満たされた場合には、法執行機関に情報を提供する可能性もある。
また、Anthropicの契約条項によると、AIとの対話は弁護士と依頼人間の間の秘密保持特権から保護されないが、Anthropicはこの対話の審査の詳細についてはまだ明確に説明していない。
この事件以外に、カナダのブリティッシュコロンビア州は最近、アメリカのサンフランキス連邦裁判所でOpenAIおよびそのCEOのサム・アルトマンを訴えました。OpenAIは2月のタンブラーリッジ校園銃撃事件の犯人とChatGPTの暴力的な対話について記録していたにもかかわらず、警察に報告していなかったため、その事件を防ぐことができたはずです。
TechSpotの報道によると、フロリダ州は6月にOpenAIおよびオルテマンを訴え、ChatGPTが実際の損害を引き起こしたと主張しています。その損害には、2025年フロリダ州立大学の銃撃事件も含まれています（IT之家注：以上は原告側の主張であり、裁判所はまだ関連する責任を認定していません）。