Die Hersteller preisen Punktegewinne durch neue Agent-Harnesses wie Claude Code oder OpenCode an. Eine Studie zeigt, dass diese Behauptung nicht haltbar ist. Der Wechsel der Harnesses verändert die Ergebnisse kaum stärker als ein doppelter Lauf desselben Setups, aber die Kosten können sich verdreifachen.
Ein Coding-Agent kombiniert ein Sprachmodell mit einem Harness – dem Systemprompt, Tools und Kontextmanagement, die das Modell innerhalb eines Code-Repositories arbeiten lassen. Neue Harnesses erscheinen täglich, und Bestenlisten mischen sie frei, aber zwei Forscher der Shandong University haben gemessen, wie viel der Harness tatsächlich ausmacht, wenn man das Modell konstant hält. Der Titel der Arbeit verrät die Antwort: "What does a harness buy? Mostly tokens."
Frühere Vergleiche maßen Rauschen
Frühere Studien berichten von Abständen von mehr als 20 Punkten zwischen Harnesses, doch diese Zahlen stammen fast immer aus einem einzigen Lauf, so die Autoren. Reine Wiederholungsläufe desselben Setups variieren auf SWE-bench Verified bereits um bis zu sechs Punkte. Zhipu AIbewirbt beispielsweise seinen eigenen Harness mit einem Vorsprung von 2.4 Punkten gegenüber Claude Code – eine Differenz, die klar innerhalb dieser Rauschspanne liegt. Zudem sind Harnesses oft unterschiedlich in den Benchmark integriert, was Vergleiche noch unzuverlässiger macht.
Liu und Han ließen fünf Modelle durch drei Harnesses in ihren ausgelieferten Versionen laufen: Claude Code, OpenCode und mini-SWE-agent. mini-SWE-agent bietet dem Modell nur ein Bash-Tool und verzichtet auf Kontextmanagement. Claude Code und OpenCode bieten spezialisierte Datei- und Such-Tools, lange Systemprompts und automatische Verlaufs-Komprimierung.
Die Modelle waren Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flashund HY4-Preview. Claude Opus 5 lief als Referenz ausschließlich in Claude Code. Die Tests nutzten die 45 schwersten Aufgaben aus SWE-bench Verified plus einen Pool von 447 weiteren. Mehrere Setups liefen zweimal, um das Rauschen zu messen.
Alle Läufe fanden offline statt. In frühen Tests mit Internetzugriff holten 71 Prozent der Versuche der Deepseek- und Qwen-Modelle die korrekte Lösung direkt von GitHub, statt die Aufgabe selbst zu lösen. Claude-Modelle taten dies fast nie. Die Forscher verworfen diese Ergebnisse und behaupten nicht, dass ein Hersteller auf den Testdaten trainiert hat, aber das Muster war deutlich genug, um den Internetzugriff für alle weiteren Läufe zu sperren.
Der Wechsel der Harnesses verändert die Ergebnisse etwa so stark wie ein erneuter Lauf
Im größeren Pool von 447 Aufgaben liegen Claude Code und mini-SWE-agent – der schwerste und der leichteste Harness – bei beiden getesteten Modellen weniger als zwei Punkte auseinander. Innerhalb einer Spanne von fünf Punkten sind sie statistisch äquivalent.
Die Forscher erwarteten den größten Harness-Effekt bei den 45 schwersten Aufgaben. Stattdessen unterscheiden sich die Harnesses um zwei bis fünf gelöste Aufgaben pro Modell, und ein einfacher erneuter Lauf desselben Setups verschiebt die Zahl um bis zu drei. Mal führt mini-SWE-agent, mal Claude Code.
Die Flip-Raten erzählen dieselbe Geschichte. Zwischen zwei Wiederholungsläufen ändert sich das Ergebnis bei 13 Prozent der Aufgaben. Zwischen zwei verschiedenen Harnesses sind es ebenfalls 13 Prozent. Der Wechsel der Modelle treibt das auf 22 Prozent. Welche Aufgaben ein bestimmter Harness gewinnt, ändert sich von Lauf zu Lauf – wie ein Münzwurf. Die Harness-Differenz verhält sich wie ein "frischer Wurf desselben Rauschens", schreiben die Autoren.
Diese kleinen Stichproben schränken auch ein, was ein Vergleich überhaupt erkennen kann. Bei 45 Aufgaben zeigt sich selbst ein Abstand von 13 Punkten nur in der Hälfte der Fälle. Bei 447 Aufgaben werden Abstände von etwa fünf Punkten zuverlässig erkennbar. Der behauptete Vorteil von 2.4 Punkten von Zhipu liegt unter beiden Schwellenwerten, und ebenso viele andere beworbene Verbesserungen.
Alle Harnesses sind gleich leistungsfähig, außer dass OpenCode zurückfällt
Der einzige messbare Harness-Effekt ist ein konstanter Rückstand von OpenCode. Beim großen Aufgabenpool liegt es bis zu neun Punkte hinter den anderen beiden. Etwa die Hälfte dieses Abstands lässt sich auf ein Ausgabelimit zurückführen. Wenn ein Modell dieses Limit mitten in einem Denkschritt überschreitet, fordert Claude Code es auf weiterzumachen. OpenCode lässt den Schritt dort enden, und der Versuch scheitert meist.
Ein Fortsetzungsprompt im Stil von Claude Code half bei OpenCode nicht, weil dieselbe Aufgabe bei einem erneuten Versuch selten denselben Überlauf auslöst. Für den Rest des Abstands haben die Autoren keine Erklärung, nur eine Beobachtung: Unter OpenCode hören die Modelle viel früher auf zu arbeiten. Bei lokal ausgeführten Modellen hatte OpenCode zudem ein viel knapperes Zeitlimit als Claude Code, was die Autoren als unkontrollierte Variable kennzeichnen.
mini-SWE-agent stößt an das Kontextfenster, weil es kein Kontextmanagement besitzt, meist bei Aufgaben, bei denen auch die anderen Harnesses scheitern. OpenCodes Suchwerkzeuge versuchen beim ersten Einsatz, eine Binärdatei herunterzuladen, und brechen offline zusammen.
Systemprompt und Toolbeschreibungen bestimmen die Rechnung
Bei gleichem Modell, gleichen Aufgaben und gleicher Preisliste kann eine einzige Aufgabe je nach Harness bis zu dreimal so viel kosten. Tool-Ausgaben erklären den Abstand kaum. Alle drei Harnesses liefern ähnliche Textmengen pro Aufruf zurück.
Der eigentliche Unterschied ergibt sich aus dem Systemprompt und den Toolbeschreibungen. Sie werden bei jedem Schritt erneut übermittelt und umfassen etwa 16,600 Tokens bei Claude Code, rund 7,000 bei OpenCode und weniger als 1,000 bei mini-SWE-agent. Claude Code hält auch die Reasoning-Ausgabe des Modells im Konversationsverlauf, wie aus dem Reverse Engineering der Forscher hervorgeht.
Nach diesem ersten Aufruf wächst der Kontext bei allen Harnesses mit ähnlicher Geschwindigkeit. Die Größe des Systemprompts legt die Grundkosten fest, und die Anzahl der Schritte multipliziert sie. Welcher Faktor dominiert, hängt vom Modell ab: Mit GLM-5.3-Flash kostet Claude Code fast doppelt so viel wie mini-SWE-agent. Bei Deepseek-V4-Flash braucht mini-SWE-agent so viele zusätzliche Schritte, dass beide am Ende gleichauf liegen. Niedrigere Preise für zwischengespeicherte Tokens dämpfen die Abstände, ändern aber nichts an der Rangfolge.
Kein Heimvorteil, offene Fragen rund ums Thinking
Deepseeds eigener Harness schneidet mit dem eigenen Modell nicht besser ab als die anderen Harnesses, kostet aber am meisten. Claude Opus 5 lieferte identische Ergebnisse, selbst nachdem die Forscher Tools aus Claude Code entfernt hatten. Eine ein Jahr alte Version löst eine ähnliche Anzahl von Aufgaben zu weniger als der Hälfte der Kosten, weil Extended Thinking damals nicht standardmäßig aktiviert war.
Thinking war der einzige Fall, in dem die Wahl des Harness tatsächlich das Ergebnis veränderte. Ohne Thinking verliert mini-SWE-agent mit Qwen3.6 elf Punkte, während Claude Code und OpenCode im Rauschen bleiben. HY4-Preview verliert in Claude Code ohne Thinking ebenfalls elf Punkte. Wie sehr ein Agent von Reasoning abhängt, scheint an die spezifische Modell-Harness-Kombination gebunden. Die Autoren räumen ein, dass ihr Testraster zu klein ist, um zu erklären warum.
Die Studie stützt sich hauptsächlich auf einen Benchmark. Ein kleiner Gegencheck bei Terminal-Bench 2.1 zeigt dasselbe Muster. Das geschlossene Topmodell Opus 5 lief nur in Claude Code. Ein Harness kauft " weniger Wege, eine Aufgabe zu verlieren, und eine Rechnung, keine Bestehensquote", schließen die Autoren. Sie empfehlen, neben jedem Harness-Vergleich einen Rerun derselben Konfiguration zu veröffentlichen. Nur so lässt sich erkennen, wie viel eines gemessenen Unterschieds bloßes Rauschen ist. Daten und Analyse-Skripte sind verfügbar auf GitHub.
Mehr Aufwand im Harness zahlt sich auch in anderen Studien selten aus. In einer schlug eine einfache Markdown-Datei ein komplexes Skill-System für KI-Coding-Agents. Eine frühere Studie zeigte bereits, dass die Wahl des Frameworks die Kosten für dasselbe Modell fast verdreifachen kann. Dem Harness-Design wird daraufhin viel Aufmerksamkeit geschenkt. Nvidia senkte kürzlich seine Token-Kosten für Coding-Agents durch besseres Agent-Steering um fast die Hälfte.