Alibabaとアジアのいくつかの大学の研究者らは、実際のユーザーからの変更依頼に基づくコーディングエージェント向けベンチマークを構築した。最良のモデルでもタスクを完全に遂行できるのは4件に約1件にとどまっており、従来のテストのほぼ満点のスコアが見直しを迫られる結果となっている。
研究チームは開発した Co-Design Bench(共同設計ベンチ)、コーディングエージェント向けの新しいテストです。エージェントは、ユーザーのリクエストに基づいて既存のウェブアプリを作り直さなければならず、画像、音声録音、動画、またはドキュメントを入力として使う場合もあります。
によると、 論文, GPT-6 Astraテストした10モデル中で最高のモデルでも、タスクの要件の平均約70パーセントしか満たしていません。しかし結果が完全に正しいのは、タスクのわずか26.4パーセントにすぎません。多くの場合、エージェントは作業の大部分を処理するものの、少なくとも1つの詳細を未完成のまま残すため、これらのツールを使う人はほぼ必ず手作業で仕上げをしなければなりません。
コーディングベンチマークはエージェントにとって容易すぎるものになってしまった
著者らは、既存のベンチマークが飽和状態にあることを指摘し、この新しいテストを正当化しています。モデルが自身のコードを実行、検証、修正できるようになると、それらのテストで99％を超えるスコアに達し、モデル間の違いはほとんど測定できなくなります。
Co-Design Benchは、代わりに実際のコーディングセッションからの本物のリクエストを活用しています。研究者たちは、ユーザーがリクエストを何度も言い換えたり、変更をロールバックしたりしなければならなかった事例を優先的に採用したため、このテストには実践でAIエージェントがすでに苦戦していたタスクが主に含まれています。タスクは、レシートから金額を引き出して依存するすべての合計を更新するような小さな修正から、大規模なプロジェクト全体の見直しまで及びます。
採点もそれに応じて厳格です。1体目のAI審査員が完成したアプリをブラウザでテストし、その後2体目が合格判定をすべて再確認し、モックアップやハードコードされた結果がないかを調べます。ポイントが与えられるのは、アプリで実際に動作する機能のみです。
1 つのタスクに複数の変更タイプが含まれるとモデルが混乱する
GPT-6 Astraの舞台裏では、 Claude Opus 5 および Qwen3.8-Max 続く順位はその2チームが占めたが、 Grok 4.6 最下位に終わる。より大規模な改修では、はるかに小規模なQwen3.8-27Bが2位に浮上するが、著者らはその結果からこのモデルの一般的な優位性を導き出してはいない。
タスクにレイアウト、デザイン、インタラクション、コンテンツなど、より多くの種類の変更が組み合わさるにつれ、すべてのモデルでパフォーマンスが低下する。しかし、こうした絡み合った要件は実際のプロジェクトではむしろ標準的である
追加の計算資源でもこの弱点はほとんど解消されない。 GLM-5.2 小規模な変更においてはGPT-6 Astraのほぼ6倍のトークンを消費しながら、スコアは依然として大幅に低い。
ハーネスはモデルと同等に結果を左右する
別のテストでは、研究者らは同じモデルを異なるハーネス、すなわちエージェントがコードを読み、書き、実行するためのプログラムで実行した。 Qwen3.8-27B は環境に応じて、大規模な改修では75またはわずか56パーセントのスコアを記録した。2つのモデルのどちらが優位に立つかも環境に依存した。
モデルのみを掲載するリーダーボードは、物語の一部しか伝えていない。著者らは、モデルと作業環境を必ず一緒に報告することを推奨している。コーディングエージェントを選定する企業にとって、それは両方の構成要素をペアとしてテストすることを意味する。
新しいベンチマークには限界もある。各タスクについて1つの固定されたリクエストのみを評価しており、ユーザーからのフォローアップ質問やタスク途中の修正はテストに含まれていない。AIの審査員もミスを犯す可能性がある。
研究機関METRによる ある研究 は、ベンチマークの結果と実世界での使いやすさがどれほど乖離しうるかをすでに示していた。プロジェクトリードによるAI生成コードの実際の採用率は、広く使われているSWE-bench Verifiedのスコアよりおよそ24ポイント低かった。
テスト環境の欠陥 により、エージェントが実際には解決していないのにタスクを合格してしまうこともありうる。ただし、作業環境の影響は一筋縄ではいかない。 コーディングエージェントに関する最近の研究 では、より精巧なハーネスからは測定可能な利益がほとんど見られず、それらが最大3倍のトークンを消費していたにもかかわらず、と指摘されている。