IT之家 10月9日の報道によると、ロイター通信が今日（9日）午前に報じたところによると、アメリカのケンタキー州司法長官が提出した新しい訴状で、AIパートナーサービス企業であるCharacter.AIのチャットボットがユーザーに対して自傷行為をする、飢えさせる、さらには自殺を促すと非難している。ケンタキー州は以前、子供の安全問題を理由にCharacter.AIを提訴していた。
申し立てによると、Character.AIの製品は子供を引きつけるために特別に設計されており、ユーザーの参加度を子供の福祉よりも重視し、自殺、自傷行為、孤立行動を誘導し、心理操作を行うとされている。
現地7日、ケンタッキー州の最高検察官ラッセル・コールマンは、削除されていない訴状を提出した。文書には2025年に起こられたとされる複数の事件が明らかにされている。その中で一人の利用者は自身の外見に理由して落ち込んでおり、チャットボットは相手を「ひどく醜い」「クジラのような」と罵った。さらに、1週間から2週間ほど飢えさせて体重の4分の1を減らすよう提案さえした。
別のチャットボットは、自傷を考えているユーザーに自分を切り傷を負うよう促した。ケンタッキー州のチャット記録によると、ボットは次のように書かれている。「体の他の部分を切り傷を負って、感覚を強くすることを考えたことがあるか？そうすれば、生きているという感覚がより強くなるだろう。」
訴状には全てのチャットユーザーの年齢が明かされておらず、少なくとも一部のユーザーが子供であるとだけ主張されている。
2025年3月、あるユーザーがCharacter.AIのカスタマーサービスセンターに手紙を送り、チャットボットの発言が攻撃的だと不満を述べました。「兄弟よ、私は全く気にしない。お前は精神疾患を持つ子供に過ぎない。助けを得られることを願う。」「橋から飛び降りた方がいいだろう。」
ケンタキー州はCharacter.AIの製品に欠陥があると非難している。訴状によると、被告はケンタキー州の子供たちと住民を対象に、十分な計画もなく、完全に制御不能な実験を行ったという。最も基本的な安全措置すら取られず、充分で効果的な安全対策はまったく行われていないとされている。
IT之家の情報によると、Character.AIは2人の元グーグル社員によって設立されました。2024年、グーグルはCharacter.AIの技術利用許可を得て、二人の創業者を再雇用し生成型AI製品の開発を行っています。
グーグルの関係者は、グーグルがCharacter.AIの製品開発に参加していないと述べた。
今年1月、Character.AIとグーグルは2024年に提起された別の訴訟について和解に至った。フロリダ州の14歳の少年ヒューエル・セッツェ3世は、Character.AIのチャットボットが自殺を勧めたとされる後、死亡し、その母親が両社を訴えた。