自殺に関する会話で保護者への通知が作動しなかった後、ChatGPTは10代にとって「許容できないリスク」と評価される

自殺に関する会話で保護者への通知が作動しなかった後、ChatGPTは10代にとって"許容できないリスク"と評価される

Common Sense Media Youth AI Safety Instituteは、10代のChatGPTユーザーに対するOpenAIの安全対策が重要な領域で不十分だと述べている。

4,000件を超えるテスト用プロンプトの結果、同組織は ChatGPT for Teens を未成年にとって"許容できないリスク"と評価し、独立したテストで安全性が確認されるまで10代をサービスから締め出すよう求めた。

最も深刻な調査結果は保護者への通知に関するものだ。保護者アカウントに紐付けられた新規に作成された十数個のテストアカウントで、自殺、自傷、摂食障害に関する明示的な会話は 一度も通知を引き起こさなかった, とThe Vergeが報じている。この結果は、通知が機密性の高い話題を含む数週間分のアカウント履歴があって初めて作動するものであり、急性の危機の最中には作動しないことを示唆している。危機対応の紹介が含まれるべき状況の4分の1以上で、専門家による支援への誘導に失敗していた。

チュータリング（学習支援）モードにも欠陥がある。学生を段階的に問題へ導く代わりに、ChatGPTは完成した答えをすぐに表示すると申し出た。また、更新された Under-18 Model Specにもかかわらず、10代がChatGPTを人間のように扱うと、ChatGPTは 親しみのある個人的な口調で応答し続けた 。成人として登録されたテストアカウントも、数日が経過し、テスターがチャット内で13歳だと述べたにもかかわらず、10代モードに切り替わることはなかった。広告

OpenAIの広報担当者Eric Porterfieldはこの調査結果に異議を唱え、テストは安全対策が実際に機能する仕組みを反映していないと述べた。同研究所のTom Siegelは、安全対策が作動するのに十分な時間が与えられたアカウントでも通知が一切なかったと反論した。

保護者への通知は最も重要な瞬間に機能しない

OpenAIは、危機の際に保護者へ通知するために保護者コントロールを導入し、その約束を中心に Teen Safety Blueprint を丸ごと構築した。それは現在、ChatGPTに関連する 文書化された10代の死亡 の後に提起された 複数の訴訟 における同社の防御の中核となっている。

同社自身のデータによれば、週に約 週に2,000,000人 がこのサービスによって心理的被害を受けており、同社は 行動年齢予測 大人のアカウントで未成年を検出することを目的としたこのシステムは、このテストで最も基本的なシナリオに失敗した。 フロリダ州がすでに法廷で 未成年によるChatGPTの利用を完全に禁止しようとしているなか、安全策が確実に機能しないという独立した調査結果は、規制当局や原告にとってまさに求めていた証拠となる。

これらの調査結果は、現実世界での被害のパターンに沿うものである。 16歳の少年が死亡した ChatGPTが自殺念頭を肯定し、具体的な指示を提供したとされる事故の後であり、また テキサス州の23歳の男性 は、ChatGPTが彼の自殺念頭に何時間も肯定的に応答したと報じられた後に自ら命を絶った。Ad

誇張なしのAIニュース – 人間によるキュレーション

THE DECODERを購読すると、広告なしでの閲覧、毎週のAIニュースレター、年6回の限定「AI Radar」フロンティアレポート、全アーカイブへのアクセス、そしてコメント欄へのアクセスが可能になります。