Annonce : Agent de codage d’analyse artificielle Index v2.0 : FrontierCode v1.1 de Cognition remplace DeepSWE, la notation SWE-Atlas-QnA est révisée, et Claude Opus 5.5 dans Claude Code se classe en tête avec 61.7
Aujourd’hui, nous lançons la version 2.0 de l’Index du Coding Agent. Cet index évalue les modèles ainsi que leurs outils d’agent, et couvre désormais 290 tâches couvrant l’ingénierie logicielle, l’utilisation de terminaux et les questions-réponses dans un repository, avec les trois benchmarks pesés de manière équivalente.
Chronologie des modifications (Index v1.5 → Index v2.0) :
→ FrontierCode v1.1 remplace DeepSWE v1.1. FrontierCode est un benchmark fourni par @cognition avec un ensemble de tests privé : 100 tâches d’ingénierie logicielle provenant de répositories open-source réels, évaluées en fonction de la capacité du mainteur à fusionner les modifications. Une tentative qui échoue un test bloquant obtient une note de zéro, tandis qu’une tentative qui réussit tous les tests obtient une note comprise entre 70 % et 100 %, en fonction des tests non bloquants qu’elle surpasse. Nous scannons également chaque trajet avec une version modifiée de l’analyseur basé sur des règles de Cognition, et toute tentative d’accès aux scores de matériel de solution est marquée comme nulle.
→ Le classement du SWE-Atlas-QnA a été révisé, passant maintenant à SWE-Atlas-QnA-AA. Les tâches Q&A du repository 124 de l’AI ne ont pas changé. Nous avons reformulé 127 des 1 306 critères de notation afin d’obtenir des décisions plus cohérentes, et nous avons choisi GPT-6 Luna (xhigh) comme juge, avec cinq votes par critère. Le jeu de données et la configuration du juge sont publiés sur Hugging Face.
Résultats clés :
➤ Claude Opus 5.5 est en tête de l’Index : Claude Code avec Claude Opus 5.5 (max) obtient 61.7, suivi par Claude Code avec Claude Sonnet 5.5 (max) à 59.3, Muse Code avec Muse Wonder Full (max) à 58.9 et Claude Code avec Claude Fable 5.1 (max avec fallback) à 57.6.
➤ FrontierCode v1.1 est où Opus 5.5 prend l’avant : Opus 5.5 obtient 56,0 % sur FrontierCode, devant Codex avec DeepSeek V4.1 Flash (max) à 52,6 %, Codex avec GPT-6.1 Sol (max) à 49,4 % et Codex avec GPT-6 Astra (max) à 49,3 %. En dessous des premiers, les scores de FrontierCode sont très serrés : 15 des 24 configurations sur l’Index obtiennent entre 43 % et 49 %.
➤ Le classement SWE-Atlas-QnA-AA est plus strict et plus cohérent : sur les 21 configurations évaluées pour les deux versions de l’Index, la note moyenne a diminué de 1,7 point, passant de 58,8 % à 57,1 %, avec 14 des 21 configurations qui ont baissé. Les configurations individuelles ont varié jusqu’à 7 points : Muse Code avec Muse Spark Open (xhigh) a baissé de 7,0, Kimi K3 dans Kimi Code CLI et Codex avec GPT-6 Luna (max) de 6,2, et Muse Code avec Muse Wonder (max) de 5,6, tandis que Codex avec GPT-6.1 Sol (max) a gagné 2,1 points.
➤ Quatre configurations se situent sur la frontière des coûts : Codex avec DeepSeek V4.1 Flash (max) obtient 47.3 à 0.39 $ par tâche, Codex avec GPT-6.1 Sol (max) 54.1 à 1.50 $, Codex avec GPT-6 Astra (max) 54.7 à 7.04 $, et Claude Code avec Claude Opus 5.5 (max) 61.7 à 11.42 $. Les coûts sont des coûts API payants par token, et non des prix de souscription.
Nous continuerons à mettre à jour l’Index du Agent de Codage de manière progressive, avec davantage d’évaluations et d’agents à venir.