Artificial Analysis · X来源发布时间

SWE-Atlas-QnA 的评分标准已修订,现更名为 SWE-Atlas-QnA-AA。Scale AI 的 124 个仓库 Q&A 任务保持不变。我们重新措辞了 1,306 条中的 127 条……

SWE-Atlas-QnA 的评分标准已修订,现更名为 SWE-Atlas-QnA-AA。Scale AI 的 124 个仓库 Q&A 任务保持不变。

SWE-Atlas-QnA 的评分标准已修订,现更名为 SWE-Atlas-QnA-AA。Scale AI 的 124 个仓库 Q&A 任务保持不变。我们重新措辞了 1,306 条评分标准中的 127 条,以获得更一致的判定结果,并改用 GPT-6 Luna (xhigh) 作为评审模型,每条标准进行五次投票。

Muse Code 搭配 Muse Wonder Full (max) 以 68.8% 领先,其次是 Claude Code 搭配 Claude Fable 5.1 (max with fallback) 的 66.4%、Claude Code 搭配 Claude Opus 5.5 (max) 的 65.9% 以及 Claude Code 搭配 Claude Sonnet 5.5 (max) 的 64.2%。在两个 Index 版本上都评估过的 21 个配置中,平均分下降 1.7 分,其中 21 个中有 14 个下降。

原始出处

Artificial Analysis · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准