Des chercheurs d'Alibaba et de plusieurs universités asiatiques ont construit un benchmark d'agents de codage à partir de vraies demandes de modification d'utilisateurs. Même le meilleur modèle ne termine complètement qu'environ une tâche sur quatre, ce qui remet en perspective les scores quasi parfaits des tests plus anciens.
L'équipe a développé Co-Design Bench, un nouveau test pour les agents de codage. Les agents doivent retravailler des applications web existantes en fonction de demandes d'utilisateurs, en utilisant parfois comme entrée des images, des enregistrements audio, des vidéos ou des documents.
Selon l' article, , GPT-6 Astra, le meilleur des dix modèles testés, satisfait en moyenne environ 70 pour cent des exigences d'une tâche. Mais le résultat n'est entièrement correct que dans 26.4 pour cent des tâches. Dans la plupart des cas, l'agent accomplit l'essentiel du travail mais laisse au moins un détail inachevé, de sorte que quiconque utilise ces outils doit presque toujours faire un nettoyage manuel.
Les benchmarks de codage sont devenus trop faciles pour les agents
Les auteurs justifient le nouveau test en invoquant la saturation des benchmarks existants. Lorsque les modèles peuvent exécuter, vérifier et corriger leur propre code, ils atteignent des scores supérieurs à 99 pour cent sur ces tests, et les différences entre les modèles ne peuvent presque plus être mesurées.
Co-Design Bench s'appuie en revanche sur de vraies demandes issues de sessions de codage réelles. Les chercheurs ont privilégié les cas où les utilisateurs ont dû reformuler leur demande plusieurs fois ou annuler des modifications, de sorte que le test contient principalement des tâches qui ont déjà posé des difficultés aux agents IA en pratique. Elles vont des petits ajustements, comme extraire un montant d'un reçu et mettre à jour chaque total dépendant, à des refontes complètes de projets.
La notation est tout aussi stricte. Un premier juge IA teste l'application finie dans un navigateur, puis un second revérifie chaque verdict positif et recherche des maquettes ou des résultats codés en dur. Les points ne sont attribués qu'aux fonctionnalités qui fonctionnent réellement dans l'application.
Plusieurs types de modifications dans une même tâche débordent les modèles
Derrière GPT-6 Astra, Claude Opus 5 et Qwen3.8-Max occupent les places suivantes, tandis que Grok 4.6 arrive en dernière position. Sur les refontes plus importantes, le Qwen3.8-27B, bien plus petit, grimpe à la deuxième place, mais les auteurs n'en déduisent pas d'avantage général du modèle de ce résultat.
Les performances baissent pour tous les modèles à mesure qu'une tâche combine plus de types de modifications, notamment la mise en page, le design, l'interaction et le contenu. Mais ces exigences entremêlées sont la norme dans les projets réels
Une puissance de calcul supplémentaire ne suffit guère à corriger cette faiblesse. GLM-5.2 consomme près de six fois plus de tokens que GPT-6 Astra sur les petites modifications et obtient malgré tout des scores nettement moins bons.
Le harnais façonne les résultats autant que le modèle
Dans un test distinct, les chercheurs ont exécuté les mêmes modèles dans différents harnais, les programmes par lesquels un agent lit, écrit et exécute du code. Qwen3.8-27B a obtenu 75 ou seulement 56 percent sur les refontes plus importantes selon l'environnement. Lequel des deux modèles arrivait en tête dépendait lui aussi de l'environnement.
Les classements qui ne listent que le modèle ne racontent donc qu'une partie de l'histoire. Les auteurs recommandent de toujours rapporter le modèle et l'environnement de travail ensemble. Pour les entreprises qui choisissent un agent de codage, cela signifie tester les deux composants en binôme.
Le nouveau benchmark a toutefois des limites. Il évalue une seule requête fixe par tâche ; les questions de suivi ou les corrections en cours de tâche de la part des utilisateurs ne font pas partie du test. Les juges IA peuvent également commettre des erreurs.
Une étude de l'organisation de recherche METR a déjà montré à quel point les résultats des benchmarks et l'utilité réelle peuvent diverger. Le taux d'acceptation réel du code généré par l'IA par les responsables de projets était environ 24 points de pourcentage en dessous des scores du très utilisé SWE-bench Verified.
Les défauts des environnements de test peuvent aussi permettre à des agents de réussir des tâches sans réellement les résoudre. L'effet de l'environnement de travail n'est toutefois pas tranché. Une étude récente sur les agents de codage a trouvé à peine de bénéfice mesurable provenant de harnais plus élaborés, même s'ils consommaient jusqu'à trois fois plus de tokens.