宣布人工分析编码代理索引 v2.0：Cognition 的 FrontierCode v1.1 取代了 DeepSWE；SWE-Atlas-QnA 评分已调整；Claude Code 中的 Claude Opus 5.5 在 61.7 分遥居首位
今天，我们正式发布了 Coding Agent Index 的 v2.0 版本。该索引会对模型及其代理框架进行评估，涵盖 290 项任务，涉及软件工程、终端使用以及仓库问答相关内容，且三个评估标准具有相同的权重。
更新日志（索引 v1.5 → 索引 v2.0）：
→ FrontierCode v1.1 替换了 DeepSWE v1.1。FrontierCode 是由 @cognition 提供的基准测试，包含私有的测试集：100项软件工程任务来自真实的开源仓库，评估标准在于维护者是否会合并该更改。如果尝试失败且通过阻塞检查，得分为零；如果通过所有检查，得分则在70%到100%之间，具体取决于是否通过非阻塞检查。 我们还使用 Cognition 规则式扫描器的修改版本对每条轨迹进行扫描，任何尝试获取解决方案材料的尝试都会被标记为零分。
→ 修正后的 SWE-Atlas-QnA 评分标准，现为 SWE-Atlas-QnA-AA。AI 的 124 个存储库问答任务保持不变。我们重新调整了 1,306 项评分标准的其中 127 项，以得出更一致的评分结果；同时将 GPT-6 Luna (xhigh) 作为评判者，每项标准获得五票。该数据集和评判者配置已发布在 Hugging Face 上。
关键结果：
➤ Claude Opus 5.5 位居榜首：使用 Claude Opus 5.5 的 Claude Code 得分为 61.7，其次是使用 Claude Sonnet 5.5 的 Claude Code 得分为 59.3，使用 Muse Wonder Full 的 Muse Code 得分为 58.9，以及使用 Claude Fable 5.1 的 Claude Code 得分为 57.6。
➤ FrontierCode v1.1 是 Opus 5.5 领先的位置：Opus 5.5 在 FrontierCode 上的得分为 56.0%，高于 Codex 使用 DeepSeek V4.1 Flash (最大) 的 52.6%，Codex 使用 GPT-6.1 Sol (最大) 的 49.4%，以及 Codex 使用 GPT-6 Astra (最大) 的 49.3%。在排名下方，FrontierCode 的得分分布较为密集：索引中的 24 种配置中，有 15 种的得分在 43% 到 49% 之间。
➤ SWE-Atlas-QnA-AA的评分标准更严格且更一致：在两种版本的指数上评估的21种配置中，平均分数下降了1.7分，从58.8%降至57.1%，其中21种配置中有14种下降。各配置的分差最高可达7分：Muse Code与Muse Spark Open (xhigh) 下降7.0分，Kimi K3在Kimi Code CLI和Codex与GPT-6 Luna (max) 下降6.2分，Muse Code与Muse Wonder (max) 下降5.6分，而Codex与GPT-6.1 Sol (max) 则上升2.1分。
➤ 四种配置处于成本边界：Codex 搭配 DeepSeek V4.1 Flash（最高）得分为 47.3，每任务费用为 0.39 美元；Codex 搭配 GPT-6.1 Sol（最高）得分为 54.1，费用为 1.50 美元；Codex 搭配 GPT-6 Astra（最高）得分为 54.7，费用为 7.04 美元；Claude Code 搭配 Claude Opus 5.5（最高）得分为 61.7，费用为 11.42 美元。这些费用均为按令牌付费的 API 费用，而非订阅价格。
我们将逐步更新编码代理索引，后续还会增加更多评估和代理。