Artificial Analysis · X来源发布时间

在 MLCR-AA 和 HealthBench Professional 上,Anthropic 模型给出的答案最完整,但 OpenAI 模型更准确且更简洁

在 MLCR-AA 和 HealthBench Professional 上,Anthropic 模型给出的答案最完整,但 OpenAI 模型更准确且更简洁

在 MLCR-AA 和 HealthBench Professional 上,Anthropic 模型给出的答案最完整,但 OpenAI 模型更准确且更简洁

我们比较了 14 个在两个榜单上均有成绩的模型:MLCR-AA——我们为 @wisedocsai 的 Medical Long Context Reasoning 基准设立的排行榜,以及 @OpenAI 的 HealthBench Professional。MLCR-AA 对关于长篇医疗记录的答案从完整性(覆盖专家答案的每一个要点)和准确性(没有与记录相矛盾的主张)两方面评分,其总分要求两者兼备。HealthBench Professional 依据医生撰写的评分细则对面向临床医生的回答进行评分:原始得分是获得的评分要点占比,而长度调整得分则会惩罚较长的回答。

主要结论:

➤ Anthropic 模型在完整性和原始得分上领先:来自 @AnthropicAI 的 Claude Sonnet 5.5、Opus 5.5 和 Fable 5.1(均为 max with fallback)占据 MLCR-AA 完整性得分前三名,比最好的 OpenAI 模型高出约 19-23 分,且 Opus 和 Sonnet 拿下 HealthBench Professional 最高的原始得分(71.4% 和 70.8%),略高于 GPT-6 Astra(69.7%)

➤ OpenAI 模型在准确性和简洁性上领先:OpenAI 模型占据 MLCR-AA 准确性得分榜首。较长的答案更难被判为准确,因为每一句额外的主张都是一次与记录相矛盾的机会:Anthropic 模型每个答案的篇幅约为 OpenAI 模型的 4-6 倍,准确性得分在 19-61% 之间,而 OpenAI 模型为 89-97%

➤ 在同时奖励两者的得分上差距缩小:GPT-6 Astra(max)与 Claude Sonnet 5.5 在 MLCR-AA 上并列第1,并在 HealthBench Professional 长度调整得分上小幅领先,而 Claude Opus 5.5 从原始得分的第1跌至长度调整得分的第6

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准