ChatGPT 是全球使用最广泛的 AI 产品之一，我们投入建设了一些行业最先进的系统，用于检测潜在伤害、审查可疑活动并升级可信威胁。我们在此领域宣布两项举措以进一步推进这项工作：发布新的社区安全保障报告，并对未成年人的枪支内容实施更多限制。
保障社区安全 始终是 OpenAI 的首要任务。我们的工作包括将迫在眉睫的暴力威胁通报给执法部门，而且 我们在 2026 年第 3 季度向执法部门转介了超过 200 次。 这些转介在 积极(opens in a new window) 地(opens in a new window) 破坏暴力阴谋方面正在发挥作用，我们继续依靠心理健康和行为专家来帮助我们评估疑难案例。
我们认识到，AI 公司可以与执法部门、家庭成员、心理健康专业人士和政策制定者一道发挥独特作用，这些方面拥有关键的权力、背景和现实世界的影响力。我们致力于充分利用这一角色，持续加强我们的系统、分享我们的经验，并与最有能力在现实世界中采取行动的人直接合作。
OpenAI 的社区安全报告
我们不断加强为保护人们和社区所采取的措施。这意味着建立强有力的保障机制，同时对其效果以及我们为改进所做的努力保持透明。我们希望让人们清楚地了解我们的方法、我们的模型如何识别和应对有害行为、我们在实践中看到的风险，以及我们为解决这些问题所采取的步骤。
我们承诺发布关于暴力预防和其他社区安全问题以及我们保障措施有效性的社区安全报告。该报告将说明我们如何训练系统来检测、调查和应对社区安全问题。我们将分享暴力相关伤害如何显现的匿名化案例以及我们的学习心得，重点介绍新的缓解措施和政策变化，并提供相关数据来支持这些发现。
我们将于 2027 年初发布首份报告，涵盖 2026 年下半年，此后每六个月更新一次。我们的承诺是分享关于我们如何识别、审查和应对潜在有害内容的有意义的发现。
面向所有用户的更强政策边界
我们的模型经过训练，不会提供有助于他人策划或实施暴力的指令。我们现在对 ChatGPT 回应有关过去大规模袭击事件及其作案者的问题施加额外限制，指示模型在这些领域提供较少的详细信息，即使这些信息可以从其他在线来源获得。人们应该能够请 ChatGPT 帮助他们理解这些事件、受害者与社区受到的影响，并了解如何识别预警信号和预防未来的暴力。但我们正在收紧政策，限制对过去大规模袭击的重现，包括所使用武器和装备的细节及其获取方式，以及可能放大袭击者恶名的伤害规模的详细比较。这些限制不问用户的年龄或提问原因一律适用。
回应预警信号
有时，一个看起来普通的请求，结合之前的对话来看会有不同的含义。5 月，我们分享了 ChatGPT 如何使用简短、事实性的摘要 来在之后的对话中更谨慎地回应之前的预警信号。我们正在这项工作的基础上更进一步：当最近的聊天显示可能存在暴力的预警信号时，ChatGPT 在分享可能被滥用的信息时会更加保守。我们还在努力，当我们预测某人未满 18 岁时，即使其聊天中没有任何暴力意图的迹象，也会适用这些更严格的限制。
我们会封禁那些我们认定违反了我们 关于暴力行为的政策的账户。我们还在与心理健康和暴力预防专家合作，开发额外的自动化方式以更早进行干预。当对话显示某人正在专注于暴力或严重伤害他人的想法时，ChatGPT 将能够自动结束聊天，以当场打断这种模式。如果 ChatGPT 因该原因多次结束某账户的对话，我们可能会暂时暂停该账户。这是一项持续的努力，我们将继续加强和投资于技术与实际保护措施，包括如何可靠地识别预警信号，以及确定何时以及如何进行干预。
为青少年提供更多保护
青少年版 ChatGPT 为 18 岁以下的用户应用适合其年龄的安全保障措施，通过更强的保护和额外的限制来减少其接触敏感内容的机会。我们现在对青少年可获得的武器相关信息施加进一步限制，即使问题看起来无害。
我们的政策早已禁止帮助任何人策划或实施暴力，并限制帮助青少年寻找或获取武器。我们正在扩展这些保护措施，以限制可能被滥用于促成暴力的有关武器和安全系统的实用信息，即使没有暴力意图的迹象。青少年仍然可以使用ChatGPT来帮助预防和缓解暴力、寻求支持，并与可信任的成年人建立联系。
我们于去年推出了 年龄预测 功能，它会分析行为模式等多种信号，以估计用户是否可能未满或已满18岁。我们加强了年龄预测系统，在人们使用ChatGPT的过程中持续评估新信号，并在适当时将青少年转入未满18岁的体验。被错误地归入未满18岁体验的用户，始终可以通过我们的年龄验证合作伙伴Persona，以快速且保护隐私的方式确认自己是成年人，并移除额外的青少年保护措施。
我们的 家长控制 功能让家长将自己的ChatGPT账户与青少年的账户关联，并共同管理安全设置。已关联的账户包含 安全警报 ，当经过专门培训的审核人员发现严重的自我伤害担忧以及可能与进食障碍相关的行为时，可能会发送这些警报。今年7月，我们将这些警报扩展为：当青少年的账户因违反我们的暴力使用政策而被停用时，通知家长。如上文所述，我们正在努力推出新通知，当我们因青少年反复讨论暴力而暂停其账户时，通知家长。
展望未来
现实世界中的暴力行为令人心碎且错综复杂，成因众多。它们也严峻地提醒我们，必须继续设计和迭代我们的系统，以应对人类行为固有的复杂现实。在AI系统中开发有效的暴力防护措施，需要解决识别风险并作出恰当回应等新问题，我们将继续投资、迭代，并分享如何最佳实施我们所追求的保护措施的经验。本文所述的防护措施将在未来几周内开始推出，我们将持续对其进行完善。我们始终致力于降低ChatGPT中的伤害风险，加强我们的分层保护，监测滥用行为，执行我们的规则，并在情况需要时引入现实世界的支持与干预。