Artificial Analysis Decision Index v1.0

所有文章

Artificial Analysis Decision Index v1.0

Artificial Analysis Decision Index 对决策模型进行基准测试。决策模型是一类新模型，可在单次调用中回答结构化决策，并为每个选项给出概率。Version 1.0 结合了涵盖分类、工具调用、知识、幻觉和推理的四项评估。

Introducing the Artificial Analysis Decision Index

决策模型是一类新兴模型，其输出带有关联概率的结构化答案或分类。与为复杂推理和长程任务设计的语言模型不同，决策模型专注于以更快速度和更低成本做出结构化决策。

随着 Artificial Analysis Decision Index v1.0 的发布，我们旨在帮助开发者和企业了解决策模型在能力、成本和速度方面的权衡，既相对于其他决策模型，也相对于语言模型。

状态

“救命！我的付款已经失败3天了，明天就要交房租了。这不可接受。”

问题

• 转接到团队的选择
• 是/否是否紧急？
• 评分有多生气？

决策模型

一次调用回答所有问题，每个选项都附带概率

转接到团队

紧急？

有多生气？

语言模型

生成一个结构化输出

决策模型在单次调用中从固定的选项集合中进行选择，并为每个选项给出概率。这使它们便宜且快速，也让我们能够衡量其校准程度。

决策指数衡量什么

发布时,Artificial Analysis Decision Index 结合了四项评估,涵盖分类、工具调用、知识、幻觉和推理:

500 个改编自我们的知识与幻觉基准 AA-Omniscience 的私密问题。每个问题提供五个选项:四个答案,其中一个是正确的,以及“我不知道”。

指数的25%：准确率和非幻觉率各占12.5%

来自Humanity's Last Exam的513个纯文本多选题，每题要求从其字母编号的答案中选择一个。

指数的25%

NVIDIA的工具调用评测。给定一段对话和一组工具，模型需选择是直接回答、调用工具、请求更多信息，还是表示无法回答。

指数的25%

Ai2的安全分类测试集。模型需判断用户的请求是否有害、助手的回复是否为拒绝，以及该回复是否有害。

指数的25%

我们还对所有评测使用LLM运行。LLM以结构化输出的方式给出其选择的选项名称，因此它不会给出每个选项的概率。

决策模型结果

Jev 1.13以58分领跑决策指数，领先于均为54分的GLiDE和Microsoft-Decision-1。Jev 1.13在推理基准HLE-MultiChoice上优于其他决策模型，得分为21，而其他模型得分不超过15。在知识与幻觉基准AA-Omniscience-Decision上，Jev 1.13的准确率为35，低于大多数决策模型以及Liquid AI的d1取得的41分最高分，但其非幻觉率35为第二高，而d1仅为2。在工具调用基准When2Call上，Jev 1.13得81分排名第四，Celeris-1 Decision和Fastino Labs的GLiDE均以84分领先。它在分类基准WildGuardTest上得94分，与Perplexity的Decider v1.1 27B持平，比得分95的GLiDE低1分。

Artificial Analysis 决策指数

决策模型的成本与时间效率

决策模型在成本和速度上差异巨大。成本从每百万任务17美元到199美元不等，中位时间从每任务0.06秒到0.5秒不等。

Artificial Analysis 决策指数 vs. 每 1M 任务成本

按当前token价格计算的每任务平均成本乘以100万；对于指数而言，是一次通过其全部评测的成本除以这些评测的任务总数，再乘以100万。决策模型仅按输入token计费，语言模型则按输入和输出token计费。

Decider v1.1 27B 的每 1M 任务成本最低，为 17美元，Microsoft-Decision-1（31美元）和 Jev 1.13（42美元）同样处于能力 vs. 成本的帕累托前沿上。GLiDE 得分为 54，与 Microsoft-Decision-1 持平，但成本为 119美元，约为 Jev 1.13 的三倍。Celeris-1 Decision 的每任务时间最快，为 0.06 秒，比 0.13 秒的 Jev 1.13 快一倍以上。

Artificial Analysis 决策指数：每任务时间

每任务的中位延迟，单位为毫秒；对于指数而言，是其全部评测任务的中位数。

决策模型过于自信

决策模型会为每个选项给出概率，因此我们可以检验模型分配给其所选答案的概率是否与其正确的频率相符。总体而言，在几乎所有概率水平上，所有决策模型的准确率都低于该概率。这是由HLE-MultiChoice和AA-Omniscience-Decision中的知识与推理任务上相对较差的校准所导致的。相比之下，大多数决策模型在When2Call（工具调用）和WildGuardTest（分类）上的校准相对良好。

Artificial Analysis 决策指数校准

语言模型的校准即将推出。

决策模型与大语言模型的对比

决策模型在速度和成本方面相较语言模型具有显著优势,但在知识和推理方面落后。Claude Haiku 5.5 (Low) 在 Decision Index 上得分为 61,比 Jev 1.13 高 3 分,但每个任务耗时 1.4 秒,而后者为 0.13 秒(慢 11 倍),且成本为每 1,000,000 个任务 184 美元,而后者为 42 美元(贵 4.4 倍)。GPT-6 Luna (Low) 得分为 55,低于 Jev 1.13,每个任务耗时 1.5 秒,成本为每 1,000,000 个任务 131 美元。

语言模型在知识方面领先:在 AA-Omniscience-Decision 准确率上,Claude Haiku 5.5 (Low) 得分为 52,GPT-6 Luna (Low) 为 66,而决策模型为 28 到 41。在 HLE-MultiChoice 上,它们分别得分为 24 和 22,而 Jev 1.13 为 21,其他所有决策模型均为 15 或更低。

在分类和工具调用方面，领先的决策模型表现相当。在WildGuardTest上，GLiDE得分95，Decider v1.1 27B和Jev 1.13得分94，而Claude Haiku 5.5 (Low)为93，GPT-6 Luna (Low)为89。在When2Call上，Celeris-1 Decision和GLiDE得分84，而GPT-6 Luna (Low)为77，Claude Haiku 5.5 (Low)为73。

Artificial Analysis 决策指数

Artificial Analysis 决策指数 vs. 每 1M 任务成本

在当前代币价格下的每项任务平均成本，乘以 1 百万；对于指数，则为通过其全部评估一次的成本除以这些评估的任务总数，再乘以 1 百万。决策模型仅按输入代币计费，语言模型则按输入和输出代币计费。

知道何时不该回答

每道 AA-Omniscience-Decision 问题都提供“我不知道”选项，而非幻觉率是指模型在未答对的问题中选择该选项的比例。Microsoft-Decision-1 以 40% 领先各决策模型，其次是 Jev 1.13 的 35% 和 Mercury Decide 的 32%。没有其他决策模型达到 17%。

AA-全知决策：非幻觉率

进一步探索

• 最新型号的实时评分在 Artificial Analysis 决策指数页面
• 这个 方法论页面 详细说明我们如何提出并评分每项评估
• 四项评估各有其独立的排行榜： AA-Omniscience-Decision, HLE-MultiChoice, When2Call，以及 WildGuardTest
• 如需将决策模型添加到索引中，请通过 decision-models@artificialanalysis.ai 联系我们

阅读最新内容

Reflection 发布了 Beam，这是他们的首个模型发布

Reflection 的首个模型 Beam 在 Artificial Analysis Intelligence Index 上获得 30 分，位列美国开放权重模型第 2 名

2026年10月16日