一个名为TasteVal的新基准测试衡量AI系统自主设计实验并解读结果的能力。研究结果显示出一条异常陡峭的改进曲线。
据Anthropic联合创始人Jack Clark称,自2025年12月以来,这项能力大约每三个月翻一番。研究实验室P-Zero Research将其称为"研究品味",即挑选正确实验并从中得出正确结论的能力。测试中表现最好的模型以极低的成本击败了由24名人类专家组成的对照组。
Clark是Anthropic的联合创始人,并撰写 Import AI通讯。根据这些数字,他现在认为递归自我改进(RSI),即AI系统开发自己的后继者,最早可能在2027年成为可能。他此前预计是2028年。
该基准测试并不能证明AI系统已经在自我改进,因为它只涵盖了科学工作中很窄的一部分。但它确实显示了这场争论的走向——从单纯的模型性能转向语言模型实际上能承担多少独立研究工作的问题。
TasteVal只衡量了部分情况
P-Zero Research将研究品味定义为三种能力:识别哪些研究问题值得追求、设计实验来回答这些问题,以及正确解读结果。TasteVal只测试后两项。选择最有前景的研究方向通常被视为科学直觉的核心,但在TasteVal中,这一决策已经替模型做好了。
八项任务中的每一项都指定了一个来自AI模型开发的固定研究目标,以及一个可衡量的分数。这些任务涵盖训练数据选择、语言模型的预训练和微调、基于人类偏好的训练以及防御对抗性提示等领域。
模型决定下一步运行哪个实验,并利用结果来指导其后续步骤。为了防止编程技能影响结果,一个固定的编程代理在单块Nvidia H100 GPU上运行所有实验。每次运行在达到40 GPU小时计算量或120小时实际时间后结束。
人类基线来自24名近期曾在OpenAI、Google DeepMind、Nvidia和Microsoft Research等机构工作的专家。他们完成了相同的任务,每项任务至少有两人参与。每项任务中最好的人类尝试被用作基准。
通过计算效率衡量研究品味
为了使研究品味可量化,P-Zero Research将其转化为计算效率。其逻辑是,在AI研究中实验计算资源是稀缺的,因此挑选正确的实验并正确解读其结果,意味着在相同预算下运行次数更少、进展更多。
该实验室借鉴了其"AI Futures Model",该模型预测一旦 编程实现自动化,实验计算将成为最大的瓶颈。因此,TasteVal衡量模型需要多少计算量才能达到专家的分数。根据这个 定义,用一半计算量达到这一水平的模型,其研究品味是专家的两倍。P-Zero Research将这一比率称为计算乘数。
排名最高的模型Anthropic的Opus 5.5达到了2.3的计算乘数,用不到一半的计算量达到了专家级分数。不过,统计范围在1.15到4.37之间。在低端,模型只能勉强领先。单次运行的成本大约是专家尝试平均成本的三十分之一。
跨越几代模型,自2025年12月以来,计算乘数大约每三个月翻一番。这里的不确定性也很大,报告的翻倍时间在1.7到5.0个月之间。
在此前的几年里,模型的研究品味增长要慢得多。直到2025年末至2026年初前后,曲线才变得陡峭。这是否是一种持久的趋势,无法从单一基准测试中确定,而且作者们自己也承认,他们的结果可能高估了"研究品味改善的速度"。这些任务可以快速且低成本地验证,而这正是AI实验室最容易为之优化的任务类型。此外,对照组中也没有包括任何顶尖研究人员。
Clark将他的时间线提前
Clark长期以来一直认为创造力是AI系统自我改进速度的关键因素。今年早些时候,他曾写道,模型尚未在任何突破性的规模上展现出这种能力。他现在指出数学突破方面的进展以及TasteVal等基准测试,作为这种状况正在改变的迹象。
在5月的一篇长文中，Clark曾给出更为谨慎的数字。他将一个系统独立训练出更强后继者的概率评估为 到2028年底约为60%，到2027年底约为30%。这一预测来自一家公司的联合创始人，而该公司的模型正好位居基准榜首，这为预测增添了一层偏见。
批评者恰恰划定的正是这一能力界限
TasteVal之所以重要，是因为它衡量的正是怀疑者曾指出阻碍AI重大突破的那种能力。AI研究员Herbie Bradley曾对Clark的5月文章提出反驳，认为虽然模型有可能接手初级研究员的工作，但更具挑战性的技能——如研究品味、创造力和连贯的长期研究规划——却毫无踪影。
在规划和评估实验方面，TasteVal对这一评价提出了挑战，尽管它对如何选择长期研究议程没有任何说明。
实际差距仍有多大，体现在一项由复旦大学团队主导的 关于使用AI智能体进行AI开发的研究 中。研究人员分析了他们自己模型的开发过程，发现AI智能体贡献了多达55%的方法论提案，但最终决定仍有超过85%由人类做出。作者指出，目前尚不清楚AI如何能够生成多样化的研究方向并在结果出来之前评估其价值，而这恰恰是TasteVal从模型手中免除的那类决策。
辩论正在发生变化
该基准的发布正值各大AI实验室自己引发的辩论之中。6月，Anthropic写道，递归自我改进 尚未实现 ，但"可能比大多数机构准备好的时间来得更早"。Anthropic首席执行官Dario Amodei现在 呼吁 对AI开发进行受控放缓，而OpenAI则承认 完全自主的RSI 尚未发生，并表示只有在保证人类监督的情况下才应追求这一目标。
TasteVal改变了衡量进步的标准。长期以来，重点一直放在模型在解决明确定义的任务（如数学问题或编程挑战）方面的表现，但现在人们越来越关注的问题是，模型能否做出推动研究前进的决策。
如果P-Zero Research测得的趋势在其他测试中得到验证，其影响是双向的。AI开发将变得更快、更便宜，但与此同时，越来越大的研究份额将变得更难以由人类验证，因为模型将规划和评估它们自己的实验。