我们已更新 MLCR-AA，这是 Wisedocs 医学长上下文推理基准的排行榜，Claude Sonnet 5.5 和 GPT-6 Astra 现在并列 #1 得分
我们更新了在 @wisedocsai 的基准上 MLCR-AA 对模型的提示和评分方式，以更好地反映实际病历审查的做法。模型现在被提示扮演病历审查员，并被要求用一段话回答问题的每个部分，给出结论及病历中的支持证据。答案由新的三模型评审小组打分，我们还对照原始病历复核了全部 60 个专家参考答案，并精修了其中 15 个。
来自 @AnthropicAI 的 Claude Sonnet 5.5 (max with fallback) 与来自 @OpenAI 的 GPT-6 Astra (max) 并列榜首，得分 41.7%；GPT-6.1 Sol (max) 以 38.3% 紧随其后。来自 @Alibaba_Qwen 的 Qwen3.8 2.4T A95B 是领先的开源权重模型，得分为 30.6%。
更新后 MLCR-AA 的主要结果：
➤ 病历审查仍远未解决：答案只有在既完整又准确时才通过，没有任何模型的通过率超过 42%，中位模型的通过率低于 15%
➤ Anthropic 模型在完整性上领先，能以正确的医学推理得出专家的结论：在我们测试的所有模型和努力等级中，Claude 模型包揽了完整性的前 18 名，其中以 Claude Sonnet 5.5 (max with fallback) 的 64.8% 居首。最佳的非 Anthropic 模型是 GPT-6 Astra (max)，为 42.2%
➤ OpenAI 模型在准确性上领先，引用病历内容且不夸大、不虚构：OpenAI 模型包揽了准确性的前 27 名，其中以 GPT-6.1 Sol (max) 的 96.7% 居首，但完整回答的问题更少：GPT-6.1 Sol (max) 在 40.0% 的问题上做到完整
我们感谢 Wisedocs 构建了 MLCR，并感谢他们在将其引入 Artificial Analysis 过程中的合作