Artificial AnalysisでFrontierCodeを発表：AIモデルはメンテナーがマージするコードを書けるのか？

すべての記事

Artificial AnalysisでFrontierCodeを発表：AIモデルはメンテナーがマージするコードを書けるのか？

CognitionのFrontierCode 1.1は、AIモデルが実際のオープンソースリポジトリのメンテナーがマージするようなコード変更を行えるかどうかを検証します。最先端モデルでも40%を超える割合で失敗しています。

概要

FrontierCodeは、 Cognitionがオープンソースリポジトリのメンテナーと共に構築したコーディングベンチマークです。各タスクはエージェントに対して実際のオープンソースリポジトリへの変更を求め、その変更がそのリポジトリのメンテナーがマージするのに十分な品質かどうかをこのベンチマークは測定します。

FrontierCodeはテストが通るかどうか以上の評価を行います。他のコーディング評価とは異なり、過剰な変更や大きなdiffの作成、関連するスコープ外のファイルの変更、役に立たないテストの追加といった挙動についてもモデルが評価されます。このアプローチは現在の状況において価値があると考えています。モデルはコーディングタスクにおいて現在非常に有能ですが、その変更は依然として、メンテナーがマージする前にかなりのクリーンアップを必要とすることがあります。

私たちはFrontierCode 1.1 Main、すなわちベンチマークの150タスクのうちの主要な100タスクセットを、公平な比較のためにすべてのモデルを同じエージェントハーネスで実行して評価します。タスクは汚染を避けるために非公開です。

最先端モデルでも40%を超える割合で失敗しています。Claude Opus 5.5(max with fallback)が平均スコア52%、合格率58%で首位です。合格率はすべてのブロッキング基準を満たした試行の割合であり、スコアは望ましいノンブロッキング項目も反映します。

FrontierCode 1.1はスタンドアロンのリーダーボードとして公開され、Artificial Analysis Intelligence Indexには含まれません。近いうちに私たちの Coding Agents リーダーボード に追加する予定です。

FrontierCode 1.1: スコア

FrontierCodeの仕組み

ベンチマーク概要

Cognitionは36のオープンソースリポジトリのメンテナーと共にFrontierCodeを構築しました。メンテナーは各タスクに40時間以上を費やしています。Cognitionは2026年6月にFrontierCodeを発表し、2026年7月にバージョン1.1をリリースしました。このバージョンではフェアなインターネット利用に関するルールが追加されました。

FrontierCodeの検証器は、決定論的なテストと定性的レビューによって各試行を採点します。非公開のテストとコマンドチェック、変更がどのファイルにどの程度のコードで触れるかの制限、そしてメンテナーの基準に基づくLLMレビューです。各チェックはブロッキングまたはノンブロッキングのいずれかです。いずれかのブロッキングチェックに失敗した試行は0点となり、すべてに合格した試行は70%から100%の間のスコアとなります。

方法論

• タスクセット：FrontierCode 1.1 Mainの100タスクを、タスクごとに3回の試行で評価します。
• エージェントハーネス：すべてのモデルを、私たちのオープンソースエージェントハーネスである Stirrupで実行し、試行ごとのターン数は250に制限されます。
• 採点: LLMジャッジがルーブリックのレビュー基準を評価します。ジャッジにはGPT-6 Luna (medium) を使用します。
• 答えの照会: Cognitionのトラジェクトリスキャナーがフェアインターネット利用ルールに基づいてフラグを立てた試行は0点となります。
• スコアリング: 各タスクの3回の試行を平均し、その後タスクスコアを等しい重みで平均します。

詳細は 方法論のページ.

主な発見

• 最先端モデルでも依然として40%以上の割合で失敗します: Claude Opus 5.5 (max with fallback) は試行の58%ですべてのブロックチェックを通過し、52%で首位に立っています。続くのはGPT-6.1 Sol (max) とClaude Fable 5.1 (max with fallback) で、いずれも49%です
• リーダーボードの上位は僅差でひしめき合っています: 6つのラボから9つのモデルが43%から52%の間に位置しています。MiMo-V2.6-Proがオープンウェイトモデルとして最高の45%で、続くのはDeepSeek V4.1 Flash (max) とKimi K3 (max) の44%です
• GPT-6.1 Sol (max) はコストに対して最も優れたパフォーマンスを提供します: タスクあたり$0.81で49%を記録し、上位のAnthropicモデルのタスクあたりコストの10分の1未満でClaude Fable 5.1 (max with fallback) に匹敵します
• 100タスクのうち9タスクはどのモデルもいかなる試行でも合格できず、またすべてのモデルがすべての試行で合格したタスクは1つもありません

合格率

各タスクを3回実行します。すべてのブロッキングチェックを満たした場合、その試行は合格とみなされます。合格率は、Claude Opus 5.5(max with fallback)の試行の58%から、Muse Glimmer(high)の16%までの範囲に及びます。

FrontierCode 1.1: 合格率

費用

タスクあたりのコストは100倍以上に及び、GPT-6 Luna（max）の$0.09からClaude Fable 5.1（max with fallback）の$12.00まで幅があります。スコアとコストのパレートフロンティアには4つのモデルが位置します：GPT-6 Luna（max）が42%、タスクあたり$0.09、MiMo-V2.6-Proが45%、$0.18、GPT-6.1 Sol（max）が49%、$0.81、そしてClaude Opus 5.5（max with fallback）が52%、$10.15です。フロンティアの最後のステップ、GPT-6.1 Sol（max）からClaude Opus 5.5（max with fallback）への移行は、タスクあたりコスト12倍以上を払って3ポイントを上乗せするものです。

GPT-6.1 Sol（max）は、1タスクあたりのコストが約5分の1（$0.81 対 $4.22）でありながら、GPT-6 Astra（max）より2ポイント高いスコアを記録しました。Claude Sonnet 5.5（max with fallback）はClaude Opus 5.5（max with fallback）よりもタスクあたりの出力トークン数が約50%多いものの、トークン単価が半分であるため総コストは安く、$8.26 対 $10.15 となっています。

FrontierCode 1.1: タスクあたりのコストとスコア

評価におけるタスクあたりの平均コスト。コストは、正規のトークン数が利用可能な場合、入力、キャッシュヒット、キャッシュ書き込み、推論、および回答のトークン価格に分けて表示しています。

トークン使用量と時間

GPT-6モデルはトークン効率で首位を維持しています。GPT-6 Astra(max)とGPT-6.1 Sol(max)はタスクあたり約27kおよび約33kの出力トークンを使用するのに対し、Claude Opus 5.5(max with fallback)は約157k、Claude Sonnet 5.5(max with fallback)は全モデル中最多の約236kを使用します。タスクあたりの所要時間はトークン使用量とライブ出力速度の両方に依存し、Inkling(xhigh)の約3分からQwen3.8 Max(0902)の約46分までの範囲にわたります。

FrontierCode 1.1: タスクあたりの出力トークン数

この評価におけるベンチマークタスクごとに生成される回答トークンと推論トークンの平均数。

FrontierCode 1.1 リソース

FrontierCodeを開発し、私たちと協力してArtificial Analysisに提供してくださったCognitionのチームに感謝します。

• リーダーボードは FrontierCode 1.1 評価ページ
• ザ 方法論のページ 私たちの実装、採点、評価方法を扱っています
• Cognitionの FrontierCodeのご紹介 および FrontierCode 1.1 ベンチマークとその設計についてさらに詳述している。
• 私たちのオープンソース 鐙（あぶみ） FrontierCodeで使用しているエージェントハーネスはGitHub上にあります

最新記事を読む

Artificial Analysis Cyber Indexにtrusted-accessモデルを導入

GPT-6 Sol(Daybreak Blue)がCyber Indexの首位に

2026年10月8日

AnthropicがClaude Haiku 5.5をリリース

Claude Haiku 5.5はArtificial Analysis Intelligence Indexで43を獲得。前回のHaikuリリースから1年で26ポイント上昇しました

2026年10月7日