Les éditeurs mettent en avant des gains de score grâce aux nouveaux harnais d'agents comme Claude Code ou OpenCode. Une étude révèle que cette affirmation ne tient pas. Changer de harnais modifie à peine les résultats par rapport à une double exécution de la même configuration, mais les coûts peuvent tripler.
Un agent de codage associe un modèle de langage à un harnais, c'est-à-dire le prompt système, les outils et la gestion du contexte qui permettent au modèle de travailler dans un dépôt de code. De nouveaux harnais sortent chaque jour, et les classements les mélangent librement, mais deux chercheurs de l'Université de Shandong ont mesuré à quel point le harnais compte réellement quand on garde le modèle constant. Le titre de l'article donne la réponse : « Que rapporte un harnais ? Surtout des tokens. »
Les comparaisons antérieures mesuraient du bruit
Les études précédentes font état d'écarts de plus de 20 points entre harnais, mais ces chiffres proviennent presque toujours d'une seule exécution, selon les auteurs. De simples réexécutions de la même configuration varient déjà jusqu'à six points sur SWE-bench Verified. Zhipu AI, par exemple, fait la publicité de son propre harnais avec une avance de 2.4 points sur Claude Code, une marge qui se situe bien dans cette plage de bruit. Les harnais sont aussi souvent intégrés différemment au benchmark, ce qui rend les comparaisons encore moins fiables.
Liu et Han ont fait passer cinq modèles par trois harnais dans leurs versions livrées : Claude Code, OpenCode et mini-SWE-agent. mini-SWE-agent n'offre au modèle qu'un outil Bash et ignore la gestion du contexte. Claude Code et OpenCode proposent des outils spécialisés de fichiers et de recherche, de longs prompts système et une compression automatique de l'historique.
Les modèles étaient Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flashet HY4-Preview. Claude Opus 5 a été exécuté comme référence uniquement dans Claude Code. Les tests ont utilisé les 45 tâches les plus difficiles de SWE-bench Verified plus un pool de 447 tâches supplémentaires. Plusieurs configurations ont été exécutées deux fois pour mesurer le bruit.
Toutes les exécutions ont eu lieu hors ligne. Dans les premiers tests avec accès au web, 71 pour cent des tentatives des modèles Deepseek et Qwen ont récupéré le correctif directement depuis GitHub au lieu de résoudre la tâche elles-mêmes. Les modèles Claude ne l'ont presque jamais fait. Les chercheurs ont écarté ces résultats et ne prétendent pas qu'un éditeur s'est entraîné sur les données de test, mais le schéma était assez marqué pour qu'ils coupent l'accès au web pour toutes les exécutions restantes.
Changer de harnais modifie les résultats à peu près autant qu'une réexécution
Sur le pool le plus large de 447 tâches, Claude Code et mini-SWE-agent, les harnais le plus lourd et le plus léger, se situent à moins de deux points l'un de l'autre pour les deux modèles testés. Dans une bande de cinq points, ils sont statistiquement équivalents.
Les chercheurs s'attendaient au plus grand effet du harnais sur les 45 tâches les plus difficiles. Au lieu de cela, les harnais diffèrent de deux à cinq tâches résolues par modèle, et une simple réexécution de la même configuration décale le compte jusqu'à trois. Tantôt mini-SWE-agent mène, tantôt Claude Code.
Les taux de basculement racontent la même histoire. Entre deux réexécutions, le résultat médian change sur 13 pour cent des tâches. Entre deux harnais différents, c'est aussi 13 pour cent. Changer de modèle porte ce chiffre à 22 pour cent. Les tâches qu'un harnais donné remporte changent d'une exécution à l'autre, comme un pile ou face. L'écart entre harnais se comporte comme un « nouveau tirage du même bruit », écrivent les auteurs.
Ces petits échantillons limitent aussi ce que toute comparaison peut détecter. Avec 45 tâches, même un écart de 13 points n'apparaît qu'une fois sur deux. Avec 447 tâches, les écarts d'environ cinq points deviennent détectables de manière fiable. L'avantage revendiqué de 2.4 points par Zhipu se situe en dessous des deux seuils, tout comme beaucoup d'autres améliorations mises en avant.
Tous les harness obtiennent les mêmes résultats, sauf OpenCode qui est à la traîne
Le seul effet mesurable des harness est un déficit constant pour OpenCode. Sur le grand ensemble de tâches, il est en retard de jusqu'à neuf points sur les deux autres. Environ la moitié de cet écart s'explique par une limite de sortie. Lorsqu'un modèle dépasse cette limite au milieu d'une étape pendant le raisonnement, Claude Code l'invite à continuer. OpenCode laisse l'étape s'arrêter là, et la tentative échoue généralement.
L'ajout d'une invite de continuation de type Claude Code à OpenCode n'a pas aidé, car la même tâche déclenche rarement le même dépassement lors d'une nouvelle tentative. Pour le reste de l'écart, les auteurs n'ont pas d'explication, seulement une observation : sous OpenCode, les modèles cessent de fonctionner bien plus tôt. Sur les modèles exécutés localement, OpenCode avait aussi une limite de temps bien plus stricte que Claude Code, ce que les auteurs signalent comme une variable non contrôlée.
mini-SWE-agent atteint la fenêtre de contexte parce qu'il n'a pas de gestion du contexte, principalement sur les tâches où les autres harness échouent aussi. Les outils de recherche d'OpenCode tentent de télécharger un fichier binaire à la première utilisation et se cassent hors ligne.
L'invite système et les descriptions d'outils déterminent la facture
Avec le même modèle, les mêmes tâches et la même grille tarifaire, une seule tâche peut coûter jusqu'à trois fois plus cher selon le harness. Les sorties d'outils n'expliquent guère l'écart. Les trois harness renvoient des quantités de texte similaires par appel.
La vraie différence vient de l'invite système et des descriptions d'outils. Elles sont renvoyées à chaque étape et représentent environ 16,600 tokens pour Claude Code, environ 7,000 pour OpenCode et moins de 1,000 pour mini-SWE-agent. Claude Code conserve aussi la sortie de raisonnement du modèle dans l'historique de conversation, d'après l'ingénierie inverse des chercheurs.
Après ce premier appel, le contexte croît à des rythmes similaires pour tous les harness. La taille de l'invite système fixe le coût de base, et le nombre d'étapes le multiplie. Le facteur dominant dépend du modèle : avec GLM-5.3-Flash, Claude Code coûte près de deux fois plus cher que mini-SWE-agent. Avec Deepseek-V4-Flash, mini-SWE-agent a besoin de tellement d'étapes supplémentaires que les deux finissent à égalité. Les prix réduits pour les tokens mis en cache atténuent les écarts mais ne changent pas le classement.
Pas d'avantage à domicile, questions ouvertes autour du raisonnement
Le harness de Deepseek lui-même n'obtient pas de meilleurs résultats avec son propre modèle que les autres harness, mais coûte le plus cher. Claude Opus 5 a produit des résultats identiques même après que les chercheurs ont retiré les outils de Claude Code. Une version vieille d'un an résout un nombre similaire de tâches pour moins de la moitié du coût, car Extended Thinking n'était pas activé par défaut à l'époque.
Le raisonnement est le seul cas où le choix du harness a réellement changé le résultat. Sans raisonnement, mini-SWE-agent avec Qwen3.6 perd onze points, tandis que Claude Code et OpenCode restent dans le bruit. HY4-Preview perd aussi onze points dans Claude Code sans raisonnement. La dépendance d'un agent au raisonnement semble liée à la combinaison spécifique modèle-harness. Les auteurs admettent que leur grille de test est trop petite pour expliquer pourquoi.
L'étude repose principalement sur un seul benchmark. Une petite contre-vérification sur Terminal-Bench 2.1 montre le même schéma. Le meilleur modèle propriétaire, Opus 5, n'a été exécuté que dans Claude Code. Un harness achète " moins de façons de perdre une tâche, et une facture, pas un taux de réussite ", concluent les auteurs. Ils recommandent de publier une nouvelle exécution du même montage à côté de chaque comparaison de harness. C'est la seule façon de savoir quelle part d'une différence mesurée n'est que du bruit. Les données et les scripts d'analyse sont disponibles sur GitHub.
Plus d'effort dans le harness ne rapporte rarement dans d'autres études non plus. Dans l'une d'elles, un simple fichier Markdown a battu un système de compétences complexe pour les agents de codage IA. Une étude antérieure montrait déjà que le choix du framework peut presque tripler les coûts pour le même modèle. La conception des harness reçoit donc beaucoup d'attention. Nvidia a récemment réduit de près de moitié ses coûts de tokens pour les agents de codage grâce à un meilleur pilotage des agents.