宣布在 Artificial Analysis 上推出 FrontierCode：AI 模型能否写出维护者愿意合并的代码？

所有文章

宣布在 Artificial Analysis 上推出 FrontierCode：AI 模型能否写出维护者愿意合并的代码？

Cognition 的 FrontierCode 1.1 测试 AI 模型能否做出真实开源仓库的维护者愿意合并的代码更改。领先的模型仍然有超过 40% 的时间失败。

概述

FrontierCode 是来自 Cognition的一个编码基准，与开源仓库的维护者共同构建。每个任务要求智能体对真实的开源仓库做出更改，该基准衡量这一更改是否足够好，以至于该仓库的维护者愿意合并。

FrontierCode 的评判不止于测试是否通过。与其他编码评估不同，模型还会在诸如做出过多更改和大规模差异（diff）、修改相关范围之外的文件、或添加无用的测试等行为上受到评估。我们认为这种方法在当前背景下很有价值：模型现在在编码任务上已经非常强大，但它们的更改在维护者合并之前仍然可能需要大量清理。

我们运行 FrontierCode 1.1 Main，即该基准 150 个任务中的主要 100 任务集，所有模型都在相同的智能体框架中运行，以便进行公平的比较。这些任务是私有的，以避免污染。

领先的模型仍然有超过 40% 的时间失败。Claude Opus 5.5（max with fallback）以 52% 的平均得分和 58% 的通过率领先。通过率是完成所有阻断性标准的尝试所占的比例，而得分还反映了理想中的非阻断性标准。

FrontierCode 1.1 作为一个独立的排行榜推出，不属于 Artificial Analysis 智能指数的一部分。我们计划很快将其添加到我们的 Coding Agents 排行榜 中。

FrontierCode 1.1：得分

FrontierCode 如何运作

基准概述

Cognition 与 36 个开源仓库的维护者共同构建了 FrontierCode，他们为每个任务花费了超过 40 小时。Cognition 于 2026 年 6 月宣布 FrontierCode，并于 2026 年 7 月发布了 1.1 版，该版本增加了公平使用互联网的规则。

FrontierCode 验证器通过确定性测试和定性审查对每次尝试进行评分：隐藏测试和命令检查、对更改涉及哪些文件以及涉及多少代码的限制，以及根据维护者标准进行的 LLM 审查。每项检查要么是阻断性的，要么是非阻断性的。未通过任何阻断性检查的尝试得分为 0，而全部通过的尝试得分在 70% 到 100% 之间。

方法论

• 任务集：我们评估 FrontierCode 1.1 Main 的 100 个任务，每个任务进行三次尝试。
• 智能体框架：每个模型都在 Stirrup中运行，这是我们的开源智能体框架，每次尝试上限为 250 轮。
• 评分：由一个 LLM 评审员评估评分细则中的评审标准。我们使用 GPT-6 Luna (medium) 作为评审员。
• 答案查证：任何被 Cognition 的轨迹扫描器依据公平互联网使用规则标记的尝试记 0 分。
• 打分：我们对每项任务的三次尝试取平均值，然后以相等权重对任务得分取平均值。

完整详情见 方法论页面.

主要发现

• 领先的模型仍有超过 40% 的时候失败：Claude Opus 5.5 (max with fallback) 以 52% 领先，在其 58% 的尝试中通过了所有阻断性检查，其次是 GPT-6.1 Sol (max) 和 Claude Fable 5.1 (max with fallback)，为 49%
• 排行榜头部竞争激烈：来自六个实验室的九个模型得分介于 43% 和 52% 之间。MiMo-V2.6-Pro 是领先的开源权重模型，为 45%，其次是 DeepSeek V4.1 Flash (max) 和 Kimi K3 (max)，为 44%
• GPT-6.1 Sol (max) 提供了性价比最强的表现：以每项任务 0.81 美元的成本得分 49%，与 Claude Fable 5.1 (max with fallback) 持平，而每项任务成本不到领先的 Anthropic 模型的十分之一
• 100 项任务中有 9 项没有任何模型在任何尝试中通过，也没有任何任务被每个模型在每次尝试中都通过

通过率

我们对每个任务运行三次。当某次尝试满足所有阻塞性检查时即视为通过。通过率范围从 Claude Opus 5.5(max with fallback)的 58% 到 Muse Glimmer(high)的 16%。

FrontierCode 1.1：通过率

费用

每项任务的成本跨越超过100倍，从GPT-6 Luna（max）的0.09美元到Claude Fable 5.1（max with fallback）的12.00美元。有四个模型位于得分与成本的帕累托前沿上：GPT-6 Luna（max）为42%、每项任务0.09美元，MiMo-V2.6-Pro为45%、0.18美元，GPT-6.1 Sol（max）为49%、0.81美元，以及Claude Opus 5.5（max with fallback）为52%、10.15美元。前沿上的最后一步，即从GPT-6.1 Sol（max）到Claude Opus 5.5（max with fallback），以超过12倍的单项任务成本换来3个百分点的提升。

GPT-6.1 Sol (max) 的得分比 GPT-6 Astra (max) 高 2 分，而每个任务的成本仅约为后者的五分之一，为 0.81 美元，而后者为 4.22 美元。Claude Sonnet 5.5 (max with fallback) 每个任务使用的输出 token 比 Claude Opus 5.5 (max with fallback) 多约 50%，但由于其单价是后者的一半，因此成本更低，为 8.26 美元，而后者为 10.15 美元。

FrontierCode 1.1：得分与每项任务成本对比

评估中每项任务的平均成本。在有规范 token 计数可用时,成本按输入、缓存命中、缓存写入、推理和答案 token 定价分列。

Token 用量与时间

GPT-6模型在token效率方面领先：GPT-6 Astra（max）和GPT-6.1 Sol（max）每个任务分别使用约27k和约33k输出token，相比之下Claude Opus 5.5（max with fallback）使用约157k，而Claude Sonnet 5.5（max with fallback）使用约236k，为所有模型中最高。每个任务的耗时取决于token使用量和实时输出速度，从Inkling（xhigh）的约3分钟到Qwen3.8 Max（0902）的约46分钟不等。

FrontierCode 1.1：每个任务的输出 Token 数

本次评估中每个基准任务平均生成的答案与推理 token 数量。

FrontierCode 1.1 资源

感谢 Cognition 团队构建了 FrontierCode，并与我们合作将其引入 Artificial Analysis。

• 排行榜位于 FrontierCode 1.1 评估页面
• 该 方法论页面 涵盖我们的实现、评分与打分
• Cognition公司的 隆重推出 FrontierCode 和 FrontierCode 1.1 帖子进一步描述了该基准测试及其设计。
• 我们的开源 马镫 用于 FrontierCode 的智能体框架（agent harness）已在 GitHub 上发布

阅读最新内容

向 Artificial Analysis Cyber Index 引入可信访问模型

GPT-6 Sol（Daybreak Blue）现领跑 Cyber Index

2026年10月8日

Anthropic 已发布 Claude Haiku 5.5

Claude Haiku 5.5 在 Artificial Analysis Intelligence Index 上得分为 43 分，较上一次 Haiku 发布一年后提升了 26 分

2026年10月7日