发布 Artificial Analysis Intelligence Index v5
Index v5 包含 2 个新基准测试和 3 项升级。首次实现 Index 的大部分建立在私有数据集之上
Artificial Analysis Intelligence Index 是我们对模型跨任务能力的综合衡量指标，反映当今真实世界中的使用情况。v5 是自 v4 于1月发布以来我们最大的一次升级。在 v5 中，Index 现在有 60% 基于使用私有测试集或保留答案的评估。
与 Intelligence Index v5 一同，我们推出 Artificial Analysis Progress Index v1，它在一个连续的量表上跟踪模型能力随时间的变化。
Intelligence Index 的新内容：
➤ FrontierCode 2.0： Cognition 新推出的私有基准测试，包含真实世界编程任务，以仓库维护者是否会合并智能体的更改来评分
➤ Terminal-Bench-Science： 70 个在终端环境中运行的智能体科学研究任务
已升级：
➤ HLE-Diamond（替代 Humanity's Last Exam）： Humanity's Last Exam 的精炼版本，共 1,000 道题，推理题和知识题各占一半
➤ AA-Omniscience v1.1： 更新的数据集，移除了已饱和和公开的题目，新增了新题目，并修订了模糊或有误的题目
➤ CritPt v2： CritPt v2 的私有、包含 40 道题的高难度子集，由 CritPt 作者修订，并使用代码执行工具运行
保留在 Index 中： AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0
从 Index 中移除： GDPval-AA v2.1、SciCode 和 AA-LCR v1.1
Intelligence Index v5 权重：
➤ 知识工作（25%）： AA-Briefcase（15%）、AutomationBench-AA（5%）和 GDP.pdf（5%）
➤ 编程（25%）： FrontierCode 2.0（15%）和 Terminal-Bench 4.0（10%）
➤ 科学（25%）： Terminal-Bench-Science（15%）和 CritPt v2 高难度子集（10%）
➤ 通用（25%）： AA-Omniscience v1.1 15%（10% 准确率，5% 非幻觉）和 HLE-Diamond（10%）
关键结果：
➤ Claude Opus 5.5 (max) 以 58 分领先，其次是 GPT-6 Astra (max, 57) 和 GPT-6.1 Sol (max, 55)： Anthropic 和 OpenAI 包揽了前五名模型。Gemini 4 Argon (high) 紧随其后，得分为 50
➤ 开放权重的差距从 3 分扩大到 12 分： Kimi K3.1 Pro（权重尚未发布）是最高的开放权重模型，得分为 46。在已发布权重的模型中，DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 以 32 分领先——落后领先者 26 分，且低于 Claude Haiku 5.5 (max, 36)
➤ 领先模型之间每个任务的成本差异超过 13 倍： 在得分最高的 10 个模型中，GPT-6.1 Terra (max) 最便宜，每个 Intelligence Index 任务为 0.96 美元，而 Claude Fable 5.1 (max) 最贵，为 13.04 美元
FrontierCode 2.0 是 Cognition 私有编程基准测试的最新更新。它于今天早些时候发布，包含真实开源仓库中的 132 个任务，评判标准是维护者是否会合并智能体所做的更改。任何阻塞性检查失败的尝试得分为 0，且任务保持私有以避免污染。我们在 Stirrup——我们的智能体运行框架中，对每个任务运行三次。
Claude Opus 5.5 (max) 以 46% 领先，其次是 GPT-6 Astra (max)、GPT-6.1 Terra (max) 和 Claude Sonnet 5.5 (max)，均为 42%。DeepSeek V4.1 Flash 1017 (max) 是得分最高的开放权重模型，为 28%，落后领先者 18 分。
Terminal-Bench-Science 测试智能体能否在终端中执行科学研究工作流程。每个任务都由专家策划和审查，只有所有测试全部通过，任务才算通过。
GPT-6 Astra (max) 以 63% 领先，其次是 Claude Opus 5.5 (max) 的 59% 和 GPT-6.1 Sol (max) 的 58%。领先者之后的分数急剧下降：最好的开放权重模型 Kimi K3.1 Pro（权重尚未发布）得分为 34%，Claude Haiku 5.5 (max) 得分为 20%。已发布权重中最好的开放权重模型 DeepSeek V4.1 Flash 1017 (max) 得分为 13%，而我们基准测试的大多数开放权重模型得分低于 10%。
HLE-Diamond 取代了 Index 中的 Humanity's Last Exam。它是由 Center for AI Safety (CAIS) 和 Scale AI 制作的 Humanity's Last Exam 精炼版，共 1,000 道题，推理题和知识题各占一半。Claude Opus 5.5 (max) 以 68% 领先，其次是 GPT-6 Astra (max) 的 64% 和 Claude Fable 5.1 (max) 的 60%。
对于领先模型来说，知识题比推理题更难：Claude Opus 5.5 (max) 和 GPT-6 Astra (max) 在推理题上的得分均为 78%，而在知识题上的得分分别为 58% 和 50%。
AA-Omniscience v1.1 是我们的知识与幻觉基准测试的清理版本，移除了已饱和和公开集合中的问题，新增了新问题，并修订了含糊或错误的问题。分数与 v1 基本一致，模型在 AA-Omniscience v1.1 Index 上的得分平均低 2 分（中位数为 0.6）。我们还在 Hugging Face 上发布了一个新的公开子集 AA-Omniscience-Public-v1.1，并经过重新校准，以确保公开集合和私有集合之间的准确率、幻觉率和整体表现保持一致。
The Index scores CritPt v2 在一个私有的 40 道题的高难度子集上：即 70 道研究级物理题，减去发布时七个前沿模型在全部五次尝试中都解出的 30 道题。模型在 Stirrup——我们的智能体运行框架中的离线 Python 沙箱中工作。
GPT-6 Astra在高努力设置下以72%领先，其次是GPT-6.1 Sol，在最大努力下为69%。Claude Opus 5.5（最大努力）是整个Index中的最佳模型，得分为61%。Kimi K3.1 Pro（权重尚未发布）是得分最高的开放权重模型，为45%。
v5在所有九项评估中都留下了显著的进步空间，且没有任何单一模型在所有评估中领先。 在我们测量的模型中，Claude Opus 5.5领先三项，另有五个模型领先其余六项：
➤ Claude Opus 5.5： FrontierCode 2.0（46%）、HLE-Diamond（68%）和AA-Omniscience v1.1（48）
➤ GPT-6 Astra： Terminal-Bench-Science（63%）和CritPt v2 hard subset（72%）
➤ Claude Sonnet 5.5： AA-Briefcase（1812 Elo）
➤ Kimi K3.1 Pro： Terminal-Bench 4.0（67%）
➤ Gemini 4 Argon： AutomationBench-AA（78%）
➤ Muse Wonder Full： GDP.pdf（33% all-pass）
开放权重模型在v5中进一步落后。 最好的模型Kimi K3.1 Pro（权重尚未发布）得分为46，落后领先者12分，而在v4.3中差距为3分。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（最大努力）和GLM-5.3（最大努力）得分最高，均为32，而Claude Haiku 5.5（最大努力）的得分超过了它们所有模型。
差距在HLE-Diamond和Terminal-Bench-Science上最为明显，Kimi K3.1 Pro分别得分为37%和34%，而Claude Opus 5.5（最大努力）为68%，GPT-6 Astra（最大努力）为63%。
领先模型之间的成本差异很大。 Claude Opus 5.5（最大努力）每个Intelligence Index任务的成本为10.04美元，GPT-6 Astra（最大努力）为6.24美元，GPT-6.1 Sol（最大努力）为1.27美元。GPT-6.1 Sol（最大努力）的得分与Claude Opus 5.5（最大努力）相差不到4分，而每任务成本约为其八分之一。
在v5中，努力设置的影响比在v4.3中更大。 Claude Opus 5.5在低努力下得分为35，在最大努力下为58，而每个Intelligence Index任务的成本相差10倍（0.98美元对10.04美元）。Claude Sonnet 5.5从低努力到最大努力跨度为29分，高于v4.3中的20分，GPT-6.1 Sol的差距从10分翻倍至20分。
v5任务要求模型投入更多的工作量。 我们测量的每个模型在每个Intelligence Index任务上生成的输出token都比v4.3中更多，中位数上升了三分之二，从35k增至59k。
➤ 智能体评估占token使用量的大部分： Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase和FrontierCode 2.0占Index权重的55%，但占输出token中位数的约90%
➤ Terminal-Bench-Science是最消耗token的： 仅它一项就占每任务输出Tokens的约三分之一
与v5一同推出的还有Artificial Analysis Progress Index v1。 它将自2022年11月以来发布的语言模型置于同一能力尺度上，涵盖广泛的基准测试。
使用Progress Index可以比较基础能力随时间的变化，包括相隔数年发布的模型之间的比较。要比较当前用例下的模型并了解当前的前沿水平，请使用Intelligence Index，它仍然是我们衡量当前模型智能的主要指标。
感谢Epoch AI和Anthropic——我们在设计Progress Index时借鉴了Epoch Capabilities Index的经验。
探索进展指数： artificialanalysis.ai/trends
方法论： artificialanalysis.ai/methodology/progress-index
感谢 Cognition、Steven Dillmann 和 Terminal-Bench 团队、Center for AI Safety、Scale AI，以及 Minhui Zhu、Minyang Tian、Hao Peng 和 CritPt 团队，感谢他们为本次更新提供的基准测试。
探索完整结果： artificialanalysis.ai
方法论： artificialanalysis.ai/methodology/intelligence-benchmarking