Artificial Analysis · X

决策模型相比语言模型具有显著的速度和成本优势,但在知识和推理方面落后。在分类……

Artificial Analysis比较了决策模型与语言模型:在分类和工具调用任务上,领先的决策模型性能相当且明显更快更便宜,但在知识和推理上仍落后。例如Claude Haiku 5.5 (Low)在Decision Index上得61分,领先Jev 1.13三分,但每任务耗时1.4秒对0.13秒,且每百万任务成本184美元对42美元。结论基于该指数测试,不同任务类型适用性有限。

配图来源 · Artificial Analysis · X

决策模型相比语言模型具有显著的速度和成本优势,但在知识和推理方面落后。在分类和工具调用任务上,领先的决策模型的表现与语言模型相当,同时速度显著更快、成本显著更低。然而,语言模型在知识和推理方面表现更优。Claude Haiku 5.5 (Low) 在 Decision Index 上得分为 61,领先 Jev 1.13 3 分,但每个任务耗时 1.4 秒,而 Jev 1.13 为 0.13 秒(慢 11 倍),成本为每 1M 任务 184 美元,而 Jev 1.13 为 42 美元(贵 4.4 倍)

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准