Claude CodeやOpenCodeといった新しいエージェントハーネスによるスコア向上を開発元はアピールしている。しかし研究によれば、その主張は裏付けられないという。ハーネスを交換しても、同じ設定を2回実行する場合とほぼ同程度しか結果は動かないが、コストは3倍になる可能性がある。
コーディングエージェントは、言語モデルと、モデルをコードリポジトリ内で動作させるためのシステムプロンプト、ツール、コンテキスト管理からなるハーネスを組み合わせたものだ。新しいハーネスは日々登場し、リーダーボードではそれらが自由に混在しているが、山東大学の2人の研究者は、モデルを固定した場合にハーネスが実際にどれだけ影響するかを測定した。論文のタイトルが答えを物語っている。「What does a harness buy? Mostly tokens.（ハーネスで何が買えるのか？ほとんどはトークンだ）」
これまでの比較はノイズを測っていた
これまでの研究ではハーネス間で20ポイント以上の差が報告されているが、著者らによれば、その数値はほぼ常に単一の実行によるものだという。同じ設定の純粋な再実行だけでも、SWE-bench Verifiedでは最大6ポイントのばらつきが生じる。 Zhipu AIは例えば、自社のハーネスがClaude Codeに対して2.4ポイントのリードを誇っているが、この差はまさにそのノイズ範囲内に収まる。また、ハーネスがベンチマークに異なる形で組み込まれていることも多く、比較はさらに信頼性を欠く。
Liu氏とHan氏 は、5つのモデルを3つのハーネスの提供版で実行した。Claude Code、OpenCode、そしてmini-SWE-agentである。mini-SWE-agentはモデルにBashツールのみを与え、コンテキスト管理を省く。Claude CodeとOpenCodeは、専用のファイルおよび検索ツール、長いシステムプロンプト、自動的な履歴圧縮を備えている。
使用されたモデルは Qwen3.6, 、Qwen3.8, 、Deepseek-V4-Flash, 、GLM-5.3-Flash、そしてHY4-Preview。 Claude Opus 5 はClaude Codeでのみリファレンスとして実行された。テストにはSWE-bench Verifiedから最も難しい45タスクに加え、447件の追加タスクのプールを使用した。ノイズを測定するため、いくつかの設定は2回実行された。
すべての実行はオフラインで行われた。ウェブアクセスを許可した初期テストでは、DeepseekとQwenモデルの試行の71パーセントが、タスクを自力で解く代わりにGitHubから正しい修正を直接取得していた。Claudeモデルはほとんどこれを行わなかった。研究者らはこれらの結果を破棄し、いずれかの開発元がテストデータで学習したと主張していないが、このパターンは残りのすべての実行でウェブアクセスを遮断するに十分なほど顕著だった。
ハーネスの交換は再実行とほぼ同程度しか結果を動かさない
447タスクのより大きなプールでは、最も重いハーネスのClaude Codeと最も軽いmini-SWE-agentが、テストした両モデルで2ポイント未満の差に収まっている。5ポイントの範囲内では、統計的に同等だ。
研究者らは、最も難しい45タスクでハーネスの効果が最大になると予想していた。ところが実際には、ハーネス間の差はモデルあたり2〜5問の解決数にすぎず、同じ設定の単純な再実行でも最大3問変動する。mini-SWE-agentが首位になることもあれば、Claude Codeが首位になることもある。
反転率も同じことを物語っている。2回の再実行間では、13パーセントのタスクで結果の中央値が変化する。異なる2つのハーネス間でも、やはり13パーセントだ。モデルを交換すると22パーセントに跳ね上がる。特定のハーネスがどのタスクで勝つかは実行のたびに変わり、コイン投げと一致する。ハーネス間の差は「同じノイズの新たな抽選」のように振る舞う、と著者らは書いている。
これらの小さなサンプルは、比較で検出できる範囲も制限する。45タスクでは、13ポイントもの差でも半分の確率でしか現れない。447タスクなら約5ポイントの差が確実に検出可能になる。Zhipuが主張する2.4ポイントの優位性はどちらの閾値よりも下であり、宣伝されている他の多くの改善も同様である。
すべてのハーネスは同等の性能、OpenCodeだけが後れを取る
測定可能なハーネスの影響で唯一のものは、OpenCodeの一貫した劣後である。大規模なタスクプールでは、他の2つに対して最大9ポイントの差をつけられている。この差の約半分は出力制限にさかのぼる。モデルが推論中にステップの途中でこの制限を超えると、Claude Codeは続行を促す。OpenCodeはそこでステップを終了させ、試行は通常失敗する。
Claude Code式の継続プロンプトをOpenCodeに追加しても効果はなかった。同じタスクでも再試行時に同じオーバーフローが発生することはまれだからである。残りの差については、著者らに説明はなく、ただの観察結果しかない。OpenCodeでは、モデルがずっと早く作業を止めるのである。ローカルで実行したモデルでは、OpenCodeはClaude Codeよりもはるかに厳しい時間制限を持っており、著者らはこれを制御されていない変数として指摘している。
mini-SWE-agentはコンテキスト管理を欠いているためコンテキストウィンドウに到達するが、それは主に他のハーネスも失敗するタスクで起こる。OpenCodeの検索ツールは初回使用時にバイナリファイルをダウンロードしようとし、オフラインでは壊れる。
システムプロンプトとツールの説明が請求額を決める
同じモデル、同じタスク、同じ価格表でも、ハーネスによって1つのタスクのコストが最大3倍変わることがある。ツールの出力はこの差をほとんど説明しない。3つのハーネスすべてが呼び出しごとに同程度のテキスト量を返す。
本当の違いはシステムプロンプトとツールの説明から来る。これらは毎ステップで再送され、Claude Codeでは約16,600トークン、OpenCodeでは約7,000、mini-SWE-agentでは1,000未満になる。研究者らのリバースエンジニアリングによると、Claude Codeはモデルの推論出力も会話履歴に保持する。
その最初の呼び出しの後は、すべてのハーネスでコンテキストは同様の割合で増加する。システムプロンプトのサイズが基本コストを決め、ステップ数がそれを倍増させる。どの要因が支配的かはモデルに依存する。GLM-5.3-Flashでは、Claude Codeのコストはmini-SWE-agentのほぼ2倍になる。Deepseek-V4-Flashでは、mini-SWE-agentが必要な追加ステップが非常に多いため、両者は最終的に同等になる。キャッシュされたトークンの低価格は差を緩和するが、順位は変わらない。
ホームアドバンテージなし、思考をめぐる未解決の問題
Deepseek自身のハーネスは、自社モデルでも他のハーネスより良いスコアを出さないが、コストは最も高い。Claude Opus 5は、研究者らがClaude Codeからツールを取り除いた後でも同一の結果を出した。1年前のバージョンは半分以下のコストで同程度のタスク数を解決する。当時はExtended Thinkingがデフォルトで有効になっていなかったからである。
思考がハーネスの選択が実際に結果を変えた唯一のケースだった。思考なしでは、Qwen3.6を使うmini-SWE-agentは11ポイント低下する一方、Claude CodeとOpenCodeはノイズの範囲内に留まった。HY4-Previewも思考なしのClaude Codeで11ポイント失った。エージェントが推論にどれほど依存するかは、特定のモデルとハーネスの組み合わせに結びついているようだ。著者らは、その理由を説明するにはテストグリッドが小さすぎると認めている。
この研究は主に1つのベンチマークに依存している。Terminal-Bench 2.1での小規模なクロスチェックでも同じパターンが示された。クローズドソースの最上位モデルであるOpus 5は、Claude Codeでのみ実行された。ハーネスは「タスクを失う方法と請求額を減らすものであり、合格率ではない」と著者らは結論づけている。彼らは、すべてのハーネス比較とともに同じセットアップの再実行結果を公開することを推奨している。測定された差のどれだけが単なるノイズかを判断する唯一の方法がそれである。データと分析スクリプトは以下で入手可能: GitHub.
他の研究でも、ハーネスに努力をかけても報われないことはまれにしかない。ある研究では、AIコーディングエージェント向けに シンプルなMarkdownファイル が複雑なスキルシステムを打ち負かした。より以前の研究では、 フレームワークの選択 によって同じモデルでもコストがほぼ3倍になり得ることがすでに示されていた。その結果、ハーネス設計は多くの注目を集めている。 Nvidia は最近、より良いエージェントの誘導によってコーディングエージェントのトークンコストをほぼ半分に削減した。