Annonce de FrontierCode sur Artificial Analysis : les modèles d'IA peuvent-ils écrire du code que les mainteneurs accepteraient de fusionner…

Tous les articles

Annonce de FrontierCode sur Artificial Analysis : les modèles d'IA peuvent-ils écrire du code que les mainteneurs accepteraient de fusionner ?

FrontierCode 1.1 de Cognition teste si les modèles d'IA apportent des modifications de code que les mainteneurs de dépôts open source réels accepteraient de fusionner. Les meilleurs modèles échouent encore plus de 40% du temps.

Vue d'ensemble

FrontierCode est un benchmark de programmation créé par Cognition, en collaboration avec des mainteneurs de dépôts open source. Chaque tâche demande à un agent de modifier un dépôt open source réel, et le benchmark mesure si la modification est suffisamment bonne pour qu'un mainteneur de ce dépôt l'accepte.

FrontierCode évalue bien plus que la simple réussite des tests. Contrairement à d'autres évaluations de programmation, les modèles sont également jugés sur des comportements tels que la réalisation de modifications excessives et de diffs volumineux, la modification de fichiers hors du périmètre concerné, ou l'ajout de tests inutiles. Nous pensons que cette approche est précieuse dans le contexte actuel : les modèles sont désormais très compétents pour les tâches de programmation, mais leurs modifications peuvent encore nécessiter un nettoyage substantiel avant qu'un mainteneur ne les accepte.

Nous exécutons FrontierCode 1.1 Main, l'ensemble principal de 100 tâches sur les 150 tâches du benchmark, avec chaque modèle dans le même agent harness pour des comparaisons équitables. Les tâches sont privées afin d'éviter toute contamination.

Les meilleurs modèles échouent encore plus de 40% du temps. Claude Opus 5.5 (max with fallback) mène avec un score moyen de 52% et un taux de réussite de 58%. Le taux de réussite correspond à la part des tentatives qui complètent tous les critères bloquants, tandis que les scores reflètent également les critères non bloquants souhaitables.

FrontierCode 1.1 est lancé en tant que classement autonome et ne fait pas partie de l'Artificial Analysis Intelligence Index. Nous prévoyons de l'ajouter prochainement à notre classement des agents de programmation .

FrontierCode 1.1 : Score

Fonctionnement de FrontierCode

Vue d'ensemble du benchmark

Cognition a construit FrontierCode avec les mainteneurs de 36 dépôts open source, qui ont consacré plus de 40 heures à chaque tâche. Cognition a annoncé FrontierCode en juin 2026 et a publié la version 1.1 en juillet 2026, qui a ajouté des règles pour une utilisation équitable d'internet.

Le vérificateur de FrontierCode évalue chaque tentative avec des tests déterministes et une revue qualitative : des tests cachés et des vérifications de commandes, des limites sur les fichiers touchés et la quantité de code modifiée, et une revue par LLM selon les critères des mainteneurs. Chaque contrôle est soit bloquant, soit non bloquant. Une tentative qui échoue à un contrôle bloquant obtient un score de 0, et une qui les réussit tous obtient un score entre 70% et 100%.

Méthodologie

• Ensemble de tâches : nous évaluons les 100 tâches de FrontierCode 1.1 Main avec trois tentatives par tâche.
• Agent harness : chaque modèle s'exécute dans Stirrup, notre agent harness open source, limité à 250 tours par tentative.
• Notation : un juge LLM évalue les critères de revue de la grille d'évaluation. Nous utilisons GPT-6 Luna (medium) comme juge.
• Recherche de la réponse : une tentative signalée par le scanner de trajectoires de Cognition en vertu des règles d'utilisation équitable d'internet obtient la note de 0.
• Calcul des scores : nous faisons la moyenne des trois tentatives de chaque tâche, puis nous moyennons les scores des tâches avec un poids égal.

Les détails complets figurent sur la page de méthodologie.

Principales conclusions

• Les meilleurs modèles échouent encore plus de 40% du temps : Claude Opus 5.5 (max avec repli) mène avec 52% après avoir réussi tous les contrôles bloquants dans 58% de ses tentatives, suivi de GPT-6.1 Sol (max) et Claude Fable 5.1 (max avec repli) à 49%
• Le sommet du classement est très serré : neuf modèles de six laboratoires obtiennent des scores entre 43% et 52%. MiMo-V2.6-Pro est le meilleur modèle à poids ouverts avec 45%, suivi de DeepSeek V4.1 Flash (max) et Kimi K3 (max) à 44%
• GPT-6.1 Sol (max) offre la meilleure performance pour son coût : à 0,81 $ par tâche, il obtient 49%, égalant Claude Fable 5.1 (max avec repli) pour moins d'un dixième du coût par tâche des principaux modèles d'Anthropic
• 9 des 100 tâches ne sont réussies par aucun modèle quelle que soit la tentative, et aucune tâche n'est réussie par tous les modèles à chaque tentative

Taux de réussite

Nous exécutons chaque tâche trois fois. Une tentative est réussie lorsqu'elle satisfait tous les contrôles bloquants. Les taux de réussite vont de 58% des tentatives pour Claude Opus 5.5 (max with fallback) à 16% pour Muse Glimmer (high).

FrontierCode 1.1 : Taux de réussite

Coût

Le coût par tâche varie de plus de 100x, de 0,09 $ pour GPT-6 Luna (max) à 12,00 $ pour Claude Fable 5.1 (max with fallback). Quatre modèles se trouvent sur la frontière de Pareto du score par rapport au coût : GPT-6 Luna (max) à 42% et 0,09 $ par tâche, MiMo-V2.6-Pro à 45% et 0,18 $, GPT-6.1 Sol (max) à 49% et 0,81 $, et Claude Opus 5.5 (max with fallback) à 52% et 10,15 $. La dernière étape sur la frontière, de GPT-6.1 Sol (max) à Claude Opus 5.5 (max with fallback), ajoute 3 points pour plus de 12x le coût par tâche.

GPT-6.1 Sol (max) obtient 2 points de plus que GPT-6 Astra (max) pour environ un cinquième du coût par tâche, 0,81 $ contre 4,22 $. Claude Sonnet 5.5 (max with fallback) utilise ~50% de tokens de sortie en plus par tâche que Claude Opus 5.5 (max with fallback), mais à moitié prix par token, il coûte moins cher, 8,26 $ contre 10,15 $.

FrontierCode 1.1 : Score vs. coût par tâche

Coût moyen par tâche dans l'évaluation. Les coûts sont ventilés par tarification des tokens d'entrée, de cache hit, d'écriture en cache, de raisonnement et de réponse lorsque les décomptes canoniques de tokens sont disponibles.

Utilisation des tokens et temps

Les modèles GPT-6 mènent en efficacité de tokens : GPT-6 Astra (max) et GPT-6.1 Sol (max) utilisent ~27k et ~33k tokens de sortie par tâche, contre ~157k pour Claude Opus 5.5 (max with fallback) et ~236k, le plus élevé de tous les modèles, pour Claude Sonnet 5.5 (max with fallback). Le temps par tâche dépend à la fois de l'utilisation des tokens et de la vitesse de sortie en direct, et varie de ~3 minutes pour Inkling (xhigh) à ~46 minutes pour Qwen3.8 Max (0902).

FrontierCode 1.1 : Tokens de sortie par tâche

Le nombre moyen de tokens de réponse et de raisonnement produits par tâche de benchmark dans cette évaluation.

Ressources FrontierCode 1.1

Merci à l'équipe de Cognition d'avoir construit FrontierCode et d'avoir travaillé avec nous pour l'apporter sur Artificial Analysis.

• Le classement se trouve sur la page d'évaluation FrontierCode 1.1
• La page de méthodologie couvre notre implémentation, notre notation et notre scoring
• Les articles Introducing FrontierCode et FrontierCode 1.1 de Cognition décrivent plus en détail le benchmark et sa conception
• Notre harnais d'agent open source Stirrup , que nous utilisons pour FrontierCode, est disponible sur GitHub

Lisez le dernier

Présentation des modèles à accès de confiance dans l'Artificial Analysis Cyber Index

GPT-6 Sol (Daybreak Blue) prend la tête du Cyber Index

8 octobre 2026

Anthropic a publié Claude Haiku 5.5

Claude Haiku 5.5 obtient un score de 43 sur l'Artificial Analysis Intelligence Index, en hausse de 26 points un an après la dernière version de Haiku

7 octobre 2026