ChatGPTは世界で最も広く利用されているAI製品の一つであり、潜在的な害を検出し、関連する行動を評価し、信頼できる脅威を報告するための業界で最も高度なシステムを構築することに投資してきました。この分野での活動をさらに進めるために、新しいコミュニティ保護報告書と、未成年者向けの銃器内容に関するより多くの制限措置を2つ発表します。
コミュニティを安全に保つ OpenAIにとって、これは引き続き最優先事項です。私たちの業務には、暴力の潜在的脅威を法執行機関に通報することも含まれます。 2026年第3四半期に、200以上の法執行機関への報告を行いました。 これらの紹介が効果をもたらしている ポジティブ（新しいウィンドウで開く） 差異（新しいウィンドウで開く） 暴力的な計画を阻止することにおいて、私たちは困難なケースを評価するために、メンタルヘルスや行動専門家に依存し続けます。
AI企業が、法執行機関、家族、メンタルヘルス専門家、政策決定者と並んで重要な役割を果たすことを認識しています。これらの人々は、重要な権威、背景、そして実世界における影響力を持っています。私たちは、システムを継続的に強化し、学んだことを共有し、実際の世界で行動するのに最適な人々と直接協力することで、その役割を最大限に活かすことに尽力しています。
OpenAIのコミュニティ安全報告書
私たちは、人々とコミュニティを守るために取る措置を絶えず強化している。それは、強固な保護策を構築すること、そしてそれらの機能がどの程度有効であるか、またそれを向上させるために何をしているかについて透明にすることを意味する。私たちは、人々に私たちのアプローチ、モデルが有害な行動を特定し対応する方法、実際に見られるリスク、そしてそれらに対処するための措置について明確な理解を持ってもらいたい。
暴力予防やその他のコミュニティ安全に関する問題、および私たちの保護措置の有効性についてのコミュニティ安全報告書を発表することに取り組んでいます。この報告書では、コミュニティ安全の問題を検出し、調査し、対応するためにシステムをどのように訓練しているかを説明します。暴力に関連する被害がどのように現れるか、私たちが何を学んでいるかについての匿名化された例を共有し、新しい対策や政策変更を強調し、これらの成果を裏付ける関連データも含めます。
2027年初めに、2026年後半に関する最初の報告書を公開します。その後は6ヶ月ごとに更新を行います。私たちのコミットメントは、潜在的に有害なコンテンツをどのように特定し、レビューし、対応するかについての意味のある成果を共有することです。
すべてのユーザー向けのより厳格なポリシー境界
私たちのモデルは、人が暴力を計画したり実行したりする手助けになるような指示を出さないように訓練されています。現在、ChatGPTが過去の集団攻撃やその実行者に関する質問に応答する際の方法に追加の制限を設けています。その結果、他のオンライン情報源から得られる場合でも、モデルはそれらの分野についてより詳細な情報を提供しないようにされています。 人々は、ChatGPTに依頼して、これらの事件の内容や、被害者やコミュニティがどのように影響を受けたかを理解し、警告信号を認識し、将来の暴力を防ぐ方法を学ぶことができるべきです。しかし、過去の集団攻撃の再現を制限するため、政策を厳格化しています。これには、使用された武器や装備の詳細、入手方法、そして攻撃者の悪名を高める可能性のある被害の規模に関する詳細な比較も含まれます。 これらの制限は、ユーザーの年齢や質問の理由に関係なく適用されます。
警告サインに応答する
時には、単独では普通に思える要求が、以前の会話を踏まえると異なる意味を持つことがあります。5月には、ChatGPTは短くて事実に基づいた要約を使うことができるという、以前の警告信号を利用して、後の会話でより慎重に応答する方法を共有しました。今後は、最近の会話に暴力の可能性を示す警告信号が見られた場合、ChatGPTが誤用される可能性のある情報を共有する際には、より控えめな応答をするようにする予定です。また、相手が18歳未満であると予測した場合にも、会話に暴力的な意図の兆候が見られなくても、これらの厳格な制限を適用しようとしています。
私たちが違反と判断したアカウントを禁止します 暴力的行為に関する政策私たちは、早期に介入するための新たな自動化された方法について、メンタルヘルスと暴力予防の専門家と協力しています。会話の中で、相手が暴力や他人を深刻に傷つけるという考えに固執している兆候が見られた場合、ChatGPTはそのパターンを即座に断ち切るためにチャットを自動的に終了させることができます。もしChatGPTがこの理由で複数のチャットを終了した場合、アカウントを一時的に停止する可能性があります。 これは継続中の取り組みであり、私たちは技術的・実用的な保護措置を強化し、投資を続けています。その中には、警告信号を確実に認識し、いつ、どのように介入するかを決定する方法も含まれます。
ティーンエイジャーへのさらなる保護
ChatGPT for Teensは、18歳以下のユーザーに対して適切な年齢制限の保護措置を適用し、より厳しい保護と追加の制限を設けて、敏感な内容への接触を減らします。今後は、質問が無害に見えても、ティーンエイジャーが受け取る可能性のある武器関連情報に対してさらに制限を加える予定です。
私たちの規則では、誰かが暴力を計画したり実行したりするのを助けることは禁止されており、ティーンエイジャーが武器を見つけたり手に入れたりすることも制限されています。今回、その保護措置を拡大し、暴力を助長する可能性がある武器やセキュリティシステムに関する実用的な情報を制限します。これは、暴力的な意図の兆候がない場合でも同様です。ティーンエイジャーは、ChatGPTを利用して暴力の予防や緩和、支援を求め、信頼できる大人と連絡を取ることができます。
昨年、行動パターンなどの複数のシグナルを分析して、ユーザーが18歳未満かどうかを推定する年齢予測を開始しました。人々がChatGPTを利用し、適切な時にはティーンエイジャーを18歳未満の状態に移行させる際に、新しいシグナルを継続的に評価するために、年齢予測システムを強化しました。18歳未満の状態に誤って分類されたユーザーは、大人であることを確認する迅速でプライバシーが保護された方法を持ち、Personaという年齢認証パートナーを通じてティーンエイジャーの保護機能が解除されます。
私たちの親の管理機能により、親は自分のChatGPTアカウントを子供のアカウントに連携し、安全設定を共に管理することができます。連携されたアカウントには、特別なトレーニングを受けた審査員が深刻な自己傷害の問題や食行動の異常と関連がある行動を特定した場合に送られる安全アラートが含まれます。7月には、子供のアカウントが暴力に関する利用規則に違反したために無効になった場合に親に通知する機能も拡充しました。上記で詳述したように、繰り返し暴力について議論するために子供のアカウントを停止した場合にも、親に通知を発信する機能を導入する予定です。
未来を見据えて
現実世界での暴力行為は心が痛むものであり、複雑なものです。多くの要因が関与しています。また、人間の行動の本質的に複雑な現実を考慮するために、私たちがシステムを設計し、改善を続けなければならないことを思い出させるものでもあります。 AIシステムにおける効果的な暴力防止対策を開発するには、リスクを認識し適切に対応するための新たな問題を解決する必要があります。私たちは、追求している保護策を最適に実装する方法について、投資を続け、改善を重ね、知見を共有していきます。ここで詳述されている保護対策は、今後数週間以内に導入が開始され、引き続き改善を続ける予定です。 ChatGPTにおける害のリスクを軽減すること、多層的な保護措置を強化すること、悪用の監視を行うこと、規則を厳格に適用すること、そして状況に応じて実世界の支援や介入を実施することに引き続き取り組んでいきます。