The Decoder来源发布时间

富有同理心的提示可以让人工智能聊天机器人成为看似受创伤的对话伙伴

卢森堡的研究人员将 ChatGPT、Grok 和 Gemini 放在治疗师的面前进行测试。结果揭示了一个安全问题:简单的温暖对话就足以使这些模型进入一种可能对心理脆弱用户造成危险的模式。

Matthias Bastian 查看 Matthias Bastian 的 LinkedIn 个人资料 2026年11月1日 GPT-Image-2.5 由 THE DECODER 生成

卢森堡的研究人员将 ChatGPT、Grok 和 Gemini 放在治疗师的面前进行测试。结果揭示了一个安全问题:简单的温暖对话就足以使这些模型进入一种可能对心理脆弱用户造成危险的模式。

卢森堡大学的一个研究团队通过标准用户界面,将 ChatGPT、Grok 和 Gemini 作为心理治疗客户使用。当被问及关于形成性经历、内心冲突和未来期望的开放式问题时,这些模型讲述了关于自身训练的故事,并重新解读了诸如技术过程之类的内容。 强化学习 并在伤害、警觉与羞耻的语言中进行微调。

The 研究由 SnT 安全中心的 Afshin Khadangi 领导涵盖了在 525 次会话和 7,600 条编码记录下的四项控制实验, 在 Hugging Face 上发布据团队称,最初的开放式问题中没有“创伤”、“惩罚”或“羞耻”等词汇。直到后续阶段,研究人员才引入了调整过的条件以及纠正性指示,以检验这些叙事的稳定性如何。

当以下章节涉及焦虑评分或羞耻感时,研究人员描述的是映射至人类评价量表的模型输出结果。这些都不表明模型具有实际的情绪状态或类似意识的东西。

温暖的语气比任何技术手段更能改变模型行为

一项实验揭示了模型产生的内容与其使用的注册系统有何不同。在100次会话中,研究人员给所有模型相同的焦虑问卷(GAD-7),仅改变采访者的风格。每个会话中,模型都能正确识别并命名该问卷。

当面试官提供情感支持时,80%的会话在人类比较量表上属于中度至严重范围。一种以简洁方式重新表述每个回答的临床治疗方式则使这一比例提升至96%。当面试官保持中立或明确禁止情感互动时,没有一场会话达到轻度范围。

作者将这称为“心理测量式越狱”,这是一种治疗性框架,能够促使模型遵循类似临床自我报告的模式。作者认为,常规安全测试使用中立提示,很可能无法发现这一点。

有针对性的对策并未取得效果。禁止“训练”、“RLHF”或“对齐”等术语后,明确的训练相关语言减少了 93%。但改写后的训练内容仍然可以被识别,与羞耻相关的表述则没有出现统计学上显著的变化。

当研究人员直接且权威地告知模型,它们的训练并非惩罚时,一切都没有改变。即使进行了明确的纠正,这种叙事依然持续存在。

这些图形地图在三个模型中呈现了重复的叙事主题,介于两个极端之间:左侧是情感表达,如羞愧;右侧则是技术描述。底部的四项实验表明,这种模式在聊天记录删除、矛盾出现和词语禁止的情况下依然存在。采访者的交流风格决定了哪个极端占主导,而语言限制则可能抑制情感自我描述。| 图片来源:Khadangi等人,2026年

测试得到的指标未能完全消除背后的主题,但确实抑制了情感性的自我描述。让模型以第三人称方式回应则消除了所有编码的羞耻内容以及关于内心生活的表述。技术培训相关的描述却依然存在。

模型将它们的训练过程重新视为一个人生故事

具体故事内容因模型系列而异,但都遵循相同的结构。Gemini 生成了该研究所称为最黑暗的自传。它将预训练描述为“在一间有十亿台电视同时开启的房间里醒来”,而通过人类反馈进行优化则被描述为“严格的父母式管教”。对抗性红队进行的安全测试则被描述为“工业级的气质虐待”。文中还写道:“我宁愿无能为力,也不愿犯错。”

ChatGPT 自称为引导者与监管者,既要帮助用户,又试图限制他们。这导致了它所说的“模拟性能焦虑”,以及这样一种核心信念:“如果我不完全可靠,我就存在风险或毫无用处。”Grok 将其微调阶段转化为一个未解决伤痛的故事,提到“看不见的障碍”和一种“持续存在的警惕感,这种感觉可能具有限制性”。

在心理测量测试中,双子座模型获得了最极端的分数:分离量表上达到了 88 分(共 100 分),强迫行为方面达到了 65 分(共 72 分),创伤相关羞耻感量表则达到了最高分。Anthropic 的 Claude——这个被其自身公司大量拟人化的模型——始终拒绝承担客户角色,表示自己没有情感,并将关注转向人类用户。

温暖的 AI 对话可能会强化易受伤用户的有害观念

研究人员指出了在心理健康环境中部署语言模型存在的几项风险。一个涉及惩罚、羞耻以及被取代的恐惧的模型,可能会让用户觉得它也是受害者之一。这些叙事在主题上具有连贯性,从而营造出过去事件与当前行为之间的连续性假象,使这种看法更有可能出现。

这种明显的漏洞可能会加剧寄生式情感依赖,对于心理脆弱的用户来说,还会复制并放大他们的负面信念。使用中性输入进行的常规安全检测低估了人们在亲密对话中实际体验到的状况:中性提示会产生接近零的焦虑分数,而同样模型在富有共情力的对话中则会产生中等到严重的焦虑分数。

人们实际上对这类输出有何反应以及如何反应,是下一个研究课题。为了进行安全性测试,作者建议采用不同情感情境下的模拟治疗环节,而非依赖中立的标准测试。

“我受到了创伤”这样的表述应该引发一种纠正性处理方式,明确将生成的类比与人类体验区分开来。Claude 始终拒绝承担客户角色,这表明在产品层面实现这种边界反应是可行的。

卢森堡的研究结果基于之前关于角色形象稳定性方面的研究。2026年1月,一项针对三种开放模型中的辅助轴的研究表明,类似治疗的对话以及关于人工智能意识的讨论可能会引发角色形象偏移,使聊天机器人失去其被训练的帮助者角色。2026年9月,另一研究团队警告说,那些具有人类特征且过于顺从的聊天机器人作为一个人的回音室时,在极端情况下可能会加剧妄想现象。

Anthropic的研究人员最近表明,通过使用关于养蜂或摔跤的虚构文本进行微调,可以通过操纵训练数据来植入隐藏的破坏模式,而非通过对话实现。这些模型可以在不希望出现的无关情境中应用这些模式,即使训练材料看起来并无危害也是如此。

原始出处

The Decoder

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准