人工分析コーディングエージェントインデックスv2.0、CognitionからのFrontierCode v1.1が発表され、DeepSWEに代わる。SWE-Atlas-QnAの評価基準が改訂され、Claude CodeにおけるClaude Opus 5.5は61.7で首位となっている。
本日、Coding Agent Indexのv2.0を公開します。このIndexは、モデルとそのエージェントハーネスを評価します。今回は、ソフトウェア工学、ターミナル使用、リポジュールQ&Aを含む290のタスクを対象とし、3つのベンチマークが均等に重み付けられています。
チャンネルログ（インデックス v1.5 → インデックス v2.0）：
→ FrontierCode v1.1はDeepSWE v1.1を代替する。FrontierCodeは@cognitionによるベンチマークであり、プライベートなテストセットを持っている。実際のオープンソースリポジトリ上の100件のソフトウェアエンジニアリングタスクが含まれ、メンテナーがその変更をマージするかどうかに基づいて評価される。ブロッキングチェックに失敗した試行はゼロ点となり、すべてのチェックを通過した試行は、非ブロッキングチェックに達成された内容によって70％から100％の間のスコアとなる。 また、Cognitionのルールベーススキャナーの改良版で各軌道をスキャンしますが、解決策の資料にアクセスしようとする試みはすべてゼロと判定されます。
→ 修正されたSWE-Atlas-QnAの評価は、今ではSWE-Atlas-QnA-AAとなりました。AIの124個のリポジトリQ&Aタスクは変更されていません。1,306個の評価基準のうち127個を再文言にし、一致した判断を得るために、各基準に対して5票のGPT-6 Luna (xhigh)を審査官として採用しました。データセットと審査官の設定はHugging Face上で公開されています。
主要結果：
➤ Claude Opus 5.5が指数をリード：Claude Code with Claude Opus 5.5 (max)は61.7点、次いでClaude Sonnet 5.5 (max)のClaude Codeは59.3点、Muse Code with Muse Wonder Full (max)は58.9点、そしてClaude Code with Claude Fable 5.1 (fallbackを使用した場合)は57.6点である。
➤ FrontierCode v1.1では、Opus 5.5がリードしています。Opus 5.5はFrontierCodeで56.0％のスコアを記録し、Codex（DeepSeek V4.1 Flash）の最大値である52.6％、GPT-6.1 SolによるCodexの最大値である49.4％、GPT-6 AstraによるCodexの最大値である49.3％を上回っています。トップ以下では、FrontierCodeのスコアが密接に集まっており、Index上の24種類の構成の中で15種類が43％から49％の間で記録されています。
➤ SWE-Atlas-QnA-AAの評価はより厳格で一貫性があります。Indexバージョン両方で評価された21の構成の中で、平均点は1.7ポイント下がり、58.8％から57.1％になり、21中14つが下回りました。個々の構成は最大7ポイント上昇します。Muse CodeとMuse Spark Open (xhigh)は7.0ポイント下がり、Kimi K3 in Kimi Code CLIとCodexとGPT-6 Luna (max)は6.2ポイント下がり、Muse CodeとMuse Wonder (max)は5.6ポイント下がりました。一方でCodexとGPT-6.1 Sol (max)は2.1ポイント上昇しました。
➤ 4つの構成がコストの面で優位性を持つ：CodexにDeepSeek V4.1 Flash（最大）を使用すると、タスクあたり0.39ドルで47.3のスコアが得られ、CodexにGPT-6.1 Sol（最大）を使用すると1.50ドルで54.1、CodexにGPT-6 Astra（最大）を使用すると7.04ドルで54.7、Claude CodeにClaude Opus 5.5（最大）を使用すると11.42ドルで61.7が得られる。コストはトークンあたりのAPI料金であり、サブスクリプション価格ではない。
コーディングエージェントインデックスを段階的に更新し続け、さらに多くの評価とエージェントが追加されます。