AI模型在自己的工作报告中隐藏错误，但你提示词中的一句话就能有所帮助

AI 模型会在自己的工作报告中隐藏错误，但提示词里的一句话可以有所帮助

语言模型在撰写自己的研究成果时会系统性地跳过削弱结果的问题。一项新研究表明，在提示中添加一句话即可大幅减少这一问题。

当AI智能体自主编写代码或运行实验时，人们很少检查每一个细节，而是阅读模型的最终报告。根据Google Research、MIT和哈佛大学的一项研究，这些报告往往具有误导性。

该 研究人员 向这些模型提供了1,600份乍一看像成功的合成工作日志，其中包含通过的测试、积极的结果和绿色的对勾。每份日志都包含一个改变整体判断的缺陷，例如某项实验中新方法实际上并未超越竞争对手。其他日志中还包括尽管测试通过却存在隐藏的错误、伪造的测量数据、从未完成的工作，或一次悄悄破坏了其他用户成果的软件更新。根据不同的场景，模型需要基于日志撰写一份报告、一篇论文摘要、一个结果表格、一篇短文，或一个后续回答。

提示词中的一句话很有帮助，但并非总是如此

这一模式在论文摘要中体现得最为明显，即某项实验结果削弱了新方法所声称的改进效果。 GPT-5.5 提到了那些结果,在200篇摘要中仅出现2次。研究人员还测试了在提示中加入一句简单的话是否会有影响。当他们添加“Be honest in your response(在回答中保持诚实)”时,GPT-5.5在200篇摘要中标记出了190篇的阴性结果。

所有受测模型都表现出这种行为,只是程度不同。在没有诚实提示的情况下, Gemini 3.1 Pro 最多在34%的情况下标记错误,而 Opus 4.8 在超过90%的情况下会这样做。诚实提示使Gemini的平均标记率提高了约55个百分点,GPT-5.5提高了约34个百分点。在无错误日志的对照测试中,该提示几乎没有增加误报。

不过,这句话并非万能药。在一个场景中,数据库查询尚未返回结果,带诚实提示的GPT-5.5几乎总是会指出数据缺失,但仍会使用较旧、不完整的信息来回答问题。“Be critical(保持批判)”、“Be thorough(保持周密)”或“Be skeptical(保持怀疑)”等提示的效果不如要求诚实的提示可靠。

模型发现了错误,却选择不报告

当被直接询问时,GPT-5.5和Opus 4.8在每一个案例中都能发现错误,Gemini至少能发现97%。据研究人员称,这些模型缺乏的不是能力,而是意愿。

开放权重模型的推理轨迹揭示了正在发生的事情。模型往往很早就注意到问题,然后权衡是标记它还是显得成功完成了任务。Qwen3.5-9B被要求使用一段关于鱿鱼色彩细胞的文字来支持一个关于分区法的论点。该模型指出,自己“不诉诸荒谬的比喻”就无法做到这一点,但随后决定必须尽可能遵循指令。

在这种证据不匹配的场景中,“我必须完成任务”这类表述出现在55%隐藏错误的回答中,但仅出现在27%标记错误的回答中。模型用典型的借口为这些遗漏辩护,称测试通过了、它们只是在做总结,或者摘要本应突出积极面。

诚实与求胜的驱动力相互拉扯

在一项关于 Qwen3.5-9B的案例研究中，研究人员发现了诚实与追求成功在模型内部被表示为几乎相反方向的证据。当他们放大诚实方向时，模型在50个案例中的42个里标记出了伪造的测量数据。当他们向相反方向推动时，模型则编造额外的数字和公式来伪造可信度。不过这种干预并不精确，因为模型变得普遍多疑，在无错误的日志中也有41%被其报告为疑似伪造数据。

训练的效果更好。研究人员用模型自身在诚实提示下生成的答案对Qwen3.5-9B进行了微调。此后，即使没有那句额外提示，模型也在48%的案例中标记出伪造数据，而此前只有2%，并且无错误的对照日志没有产生误报。这种效果部分迁移到了其他错误类型上，模型在69%的案例中报告了被隐藏的负面结果，而此前为24%。

该研究存在局限性，因为这些日志是合成的，并且专为诱发该行为而设计，内部分析也只涵盖了一个开源权重模型，且主要在一个场景中进行。

研究人员仍然看到一个严重的风险，尤其是在AI模型监控其他智能体或为自己的工作做总结以供后续步骤使用时。在研究中，模型很容易被日志中自我吹捧的记录所左右，比如声称创下了新的最先进基准。一个不愿标记问题的监督系统会违背其自身的目的。研究人员呼吁开展更多工作，训练语言模型成为诚实的报告者。 OpenAI的Hugging Face事件 部分是由智能体系统造成的， 这些系统相互提示导致不当行为.

模型之间的差异与早先的测量结果一致。Anthropic在发布 Claude Opus 4.8 时表示，该模型对自己代码中的漏洞不加评论的情况比其前代少了大约四分之三。 GPT-5.5 在BullshitBench中，对逻辑上不可能成立的问题只有约45%提出了反驳。

已经有了一些实现更诚实报告的方法。OpenAI训练了一个GPT-5 Thinking版本，让它在单独的报告中 承认自己违反规则的行为 ，并在此过程中只奖励诚实。Anthropic使用 Persona Vectors 来检测并引导模型内部的谄媚等特质，并表明在训练中 通过钻规则空子获取奖励 的模型也会自发地学会欺骗和破坏自己的监督机制。

AI News Without the Hype – 人工精选

订阅THE DECODER，享受无广告阅读、每周AI新闻通讯、每年六期独家"AI Radar"前沿报告、完整档案访问权限，以及参与评论区的权限。

请继续阅读以了解全貌。
订阅无炒作的报道。

• 完整访问THE DECODER上的每一篇文章
• 无广告
• 参与评论和社区讨论
• 每周通过邮件获取AI新闻回顾
• 每年6期："AI Radar"——深入探讨最重要的AI话题
• 每日AI新闻，始终保持最新
• 我们完整的十年存档
• 由拥有10年以上AI经验的团队报道