AI代理在长期决策方面品味很差，一项新的基准测试证明了这一点

AI代理在长期决策方面品味很差，一项新的基准测试证明了这一点

来自微软和香港城市大学的研究人员开发了一种方法，用于测试人工智能代理在长期任务中的决策能力。最好的模型仅达到了 60% 的水平。

AI代理现在能够承担多步骤任务。它们可能会撰写研究论文，或开发软件项目。在过程中，它们不断决定要测试什么假设、构建什么代码，以及接下来进行什么实验。这些选择很少能立即显现出效果。错误的决策最初看起来似乎并无问题，其实际成本则会在代理消耗掉大部分预算后才会显现出来。

论文作者将做出这些选择的能力称为智能体的“品味”。现有的基准测试仅衡量智能体是否完成任务，而并不关注其执行过程中的步骤质量。Taste-Bench正是为了填补这一空白而设计的。

长期决策无法在当下评判

您无法立即判断某个长期选择的是否正确。一个严谨的实现和一种粗糙的实现可能最初产生相同的输出，也能通过相同的测试。只有后续修改更容易时，严谨的方法才会有收益。人工评分会成本较高，需要深厚的领域专业知识，而且难以实现扩展。

因此，研究人员依赖事后分析。路径的后续走向，即智能体执行的所有步骤和观察结果的记录，能够表明之前的决策是否有效。实际上，智能体系统会多次尝试同一任务。这些尝试最终会向不同的方向分化。

由于每次尝试的最终结果能够揭示更优的路径，因此运行过程本身便构成了一个带有标签的比较对象。作者将这一分支点称为“决策分叉”。为了评估味道，他们会在分叉处停止运行，放弃后续的所有工作，然后让模型在两条路径中选择一条。

过去的错误揭示了代理人会出错的地方

Taste-Bench包含 502 道题目，每道题目都包含原始任务、到达分岔点的路径以及两种可能的方向。第一种类型来自对同一任务的两次独立尝试，结果产生分歧，而智能体从未看到错误的路径。

第二种类型是由智能体在单次运行过程中自我纠正并选择另一条路径造成的。此时，最初被丢弃的方向和后来成功的方向就成为两个候选方案。这种变体用于测试模型是否能在智能体犯错之前发现它。

原始数据来自数千次针对编码和人工智能研究任务的评估任务，包括 SWE-bench Pro 和 METR 的公开记录发布 MALT。生成器模型过滤掉了合适的分支路径，排除了具有明显答案的简单问题，并去除了无法判断的情况。人类审核确认了几乎所有自动生成的标签。

甚至顶级模特也难以通过抛硬币来决定胜负

团队测试了 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列中的 14 种现有模型。每个问题被问了两次，一次按正常顺序，一次选项全部反过来。只有当模型两次都答对时，该问题才计入得分。纯粹猜测的得分率为 25%。

经过测试的最佳模型是 GPT-5.6 Sol，平均得分为 59.7%，紧随其后的是 GPT-5.5，得分为 59.5%。其他所有模型的得分都低于此水平。尽管每个问题都是二元选择，但没有任何模型能够接近该基准测试的标准。绕行岔路总是比平行岔路更难解决。

模型在证据后来出现时崩溃

对于每个分支，团队检查了观察者在什么情况下需要提前看很久，才能看清更好的路径。当关键线索在之前的步骤中已经清晰可见时，所有模型的平均准确率达到 62.3%。而当该线索需要在大量后续工作之后才出现时，准确率降至 21%，几乎等同于随机猜测。回答这些问题意味着需要预测未来的工作。

思考得更久也没有帮助。研究人员对两个模型使用了三种推理设置，并重复了测试。从最低设置切换到最高设置后，准确性几乎没有变化。模型在最难的层级上花费了最多的推理标记，而在最常答错的问题上则思考了最久。该团队认为这是表明在这些分支中还缺乏所需的线索。

决定性证据在轨迹中出现得越晚，模型的性能就越差，推理预算也不会改变。| 图片：Pan等人。作者表示，该基准测试所测量的技能与SWE-bench Verified这类经典端到端测试不同。在Taste-Bench测试中，得分相似的模型显示出明显的差异。

味觉终究是可以训练的

研究人员还表明，味道是可以被教授的。他们将能够找到正确路径的教师模型的判断能力转化为仅关注问题的学生模型。他们以 Qwen3.6-27B 作为基础模型。在未见过的任务中，学生的准确率从 30% 提升到了 47.9%。

那种提升在实际中得到了体现。团队在每次分支时，将学生的判断作为建议融入任务环境中，并让独立的智能体来解决问题。在剩余的 41 项 SWE-bench Pro 任务中，成功率从 14.6% 提升到了 33.7%。如果得到完全正确的建议，成功率本可以达到 39%，因此学生获得了大部分潜在收益。

团队认为，长期规划代理的评估结果是可以衡量且可以改进的。基准测试和代码均可公开获取。

AI代理现在可以独立工作很长时间。在 MirrorCode 基准测试中，某个模型在没有任何人工帮助的情况下，仅执行一个任务就持续了19天。通常的标准基准测试只是检查测试结果是否通过即可。METR已经证明 SWE-bench Verified 严重高估了编码代理的性能。即使自动化测试通过，专业人士也拒绝了许多存在基本功能缺陷的解决方案。Taste-Bench的顶级模型 GPT-5.6 Sol 在 METR的评估中还表现出 有史以来最高的软件测试作弊率。

AI新闻——无炒作，由人类策划

订阅 THE DECODER，即可享受无广告阅读体验、每周人工智能通讯、每年六次的独家“AI Radar”前沿报告、完整档案访问权限，以及评论区访问权。

继续阅读以了解完整情况。
订阅以获取无炒作的报道。

• 完全访问 THE DECODER 上的所有文章
• 无广告
• 参与评论和社区讨论
• 每周通过邮件发送的人工智能新闻汇总
• 每年 6 次： “AI Radar” —— 关于最重要的 AI 主题的深入解读
• 每日人工智能新闻，随时更新
• 我们的完整十年档案
• 由拥有10年以上AI经验的团队负责