Annonce de l'Artificial Analysis Intelligence Index v5
L'Index v5 intègre 2 nouveaux benchmarks et 3 mises à niveau. Pour la première fois, la majorité de l'Index repose sur des jeux de données privés
L'Artificial Analysis Intelligence Index est notre mesure composite des capacités des modèles sur des tâches reflétant les usages réels actuels. La v5 est notre plus grande mise à niveau depuis le lancement de la v4 en janvier. Avec la v5, 60 % de l'Index repose désormais sur des évaluations avec des jeux de tests privés ou des réponses conservées hors d'accès.
En parallèle de l'Intelligence Index v5, nous lançons l'Artificial Analysis Progress Index v1, qui suit l'évolution des capacités des modèles dans le temps sur une échelle continue.
Nouveautés de l'Intelligence Index :
➤ FrontierCode 2.0 : Le benchmark privé récemment lancé par Cognition, composé de tâches de codage réelles, évaluées selon qu'un mainteneur de dépôt accepterait de fusionner la modification de l'agent
➤ Terminal-Bench-Science : 70 tâches de recherche scientifique agentiques, exécutées dans un environnement de terminal
Mises à niveau :
➤ HLE-Diamond (remplaçant Humanity's Last Exam) : une version raffinée de Humanity's Last Exam comportant 1,000 questions, réparties à parts égales entre questions de raisonnement et de connaissances
➤ AA-Omniscience v1.1 : un jeu de données actualisé, avec suppression des questions saturées et publiques, ajout de nouvelles questions et révision des questions ambiguës ou erronées
➤ CritPt v2 : un sous-ensemble difficile privé de 40 questions de CritPt v2, révisé par les auteurs de CritPt et exécuté avec un outil d'exécution de code
Conservés dans l'Index : AA-Briefcase, AutomationBench-AA, GDP.pdf et Terminal-Bench 4.0
Retirés de l'Index : GDPval-AA v2.1, SciCode et AA-LCR v1.1
Pondérations de l'Intelligence Index v5 :
➤ Travail de connaissance (25 %) : AA-Briefcase (15 %), AutomationBench-AA (5 %) et GDP.pdf (5 %)
➤ Codage (25 %) : FrontierCode 2.0 (15 %) et Terminal-Bench 4.0 (10 %)
➤ Science (25 %) : Terminal-Bench-Science (15 %) et sous-ensemble difficile de CritPt v2 (10 %)
➤ Général (25 %) : AA-Omniscience v1.1 15 % (10 % précision, 5 % non-hallucination) et HLE-Diamond (10 %)
Résultats clés :
➤ Claude Opus 5.5 (max) mène à 58, devant GPT-6 Astra (max, 57) et GPT-6.1 Sol (max, 55) : Anthropic et OpenAI occupent les cinq premiers modèles. Gemini 4 Argon (high) suit à 50
➤ L'écart des poids ouverts passe de 3 points à 12 : Kimi K3.1 Pro (poids pas encore publiés) est le meilleur modèle à poids ouverts à 46. Parmi les poids publiés, DeepSeek V4.1 Flash 1017 (max) et GLM-5.3 (max) mènent à 32 - 26 points derrière le leader et en dessous de Claude Haiku 5.5 (max, 36)
➤ Le coût par tâche varie de plus de 13x parmi les modèles de tête : sur les 10 modèles les mieux notés présentés, GPT-6.1 Terra (max) est le moins cher à 0,96 $ par tâche de l'Intelligence Index et Claude Fable 5.1 (max) le plus cher à 13,04 $
FrontierCode 2.0 est la dernière mise à jour du benchmark de code privé de Cognition. Lancé plus tôt aujourd'hui, il comprend 132 tâches dans de véritables dépôts open source, évaluées selon qu'un mainteneur fusionnerait ou non la modification de l'agent. Une tentative qui échoue à un seul contrôle bloquant obtient un score de 0, et les tâches restent privées pour éviter la contamination. Nous exécutons chaque tâche trois fois dans Stirrup, notre harnais agentique.
Claude Opus 5.5 (max) mène à 46 %, suivi de GPT-6 Astra (max), GPT-6.1 Terra (max) et Claude Sonnet 5.5 (max), tous à 42 %. DeepSeek V4.1 Flash 1017 (max) est le modèle à poids ouverts le mieux noté à 28 %, à 18 points derrière le leader.
Terminal-Bench-Science teste si les agents peuvent mener des flux de travaux de recherche scientifique dans un terminal. Des experts sélectionnent et révisent chaque tâche, et une tâche ne passe que si chacun de ses tests passe.
GPT-6 Astra (max) mène à 63 %, suivi de Claude Opus 5.5 (max) à 59 % et de GPT-6.1 Sol (max) à 58 %. Les scores chutent fortement en dessous des leaders : le meilleur modèle à poids ouverts, Kimi K3.1 Pro (poids pas encore publiés), obtient 34 %, et Claude Haiku 5.5 (max) obtient 20 %. Le meilleur modèle à poids ouverts avec poids publiés, DeepSeek V4.1 Flash 1017 (max), obtient 13 %, et la plupart des modèles à poids ouverts que nous avons évalués obtiennent moins de 10 %.
HLE-Diamond remplace Humanity's Last Exam dans l'Index. C'est la version raffinée à 1,000 questions de Humanity's Last Exam du Center for AI Safety (CAIS) et de Scale AI, réparties à parts égales entre raisonnement et connaissances. Claude Opus 5.5 (max) mène à 68 %, suivi de GPT-6 Astra (max) à 64 % et de Claude Fable 5.1 (max) à 60 %.
Les questions de connaissances sont plus difficiles que les questions de raisonnement pour les modèles de tête : Claude Opus 5.5 (max) et GPT-6 Astra (max) obtiennent tous deux 78 % en raisonnement, contre 58 % et 50 % en connaissances.
AA-Omniscience v1.1 est une version nettoyée de notre benchmark de connaissances et d'hallucinations, avec suppression des questions saturées et publiques, ajout de nouvelles questions et révision des questions ambiguës ou erronées. Les scores sont globalement alignés avec la v1, les modèles obtenant en moyenne 2 points de moins sur l'AA-Omniscience v1.1 Index (médiane 0.6). Nous avons également publié un nouveau sous-ensemble public sur Hugging Face, AA-Omniscience-Public-v1.1, recalibré pour garantir que la précision, le taux d'hallucination et la performance globale restent cohérents entre les ensembles public et privé.
L'Index note CritPt v2 sur un sous-ensemble privé difficile de 40 questions : les 70 questions de physique de niveau recherche, moins les 30 que sept modèles de pointe ont résolues dans les cinq tentatives au lancement. Les modèles travaillent dans un bac à sable Python hors ligne dans Stirrup, notre harnais agentique.
GPT-6 Astra mène à 72 % en effort élevé, suivi de GPT-6.1 Sol à 69 % en effort maximal. Claude Opus 5.5 (max), le meilleur modèle de l'Index au global, obtient 61 %. Kimi K3.1 Pro (poids pas encore publiés) est le modèle à poids ouverts le mieux noté avec 45 %.
La v5 laisse une marge de progression significative sur les neuf évaluations, et aucun modèle ne mène toutes. Parmi les modèles que nous avons mesurés, Claude Opus 5.5 mène sur trois, et cinq autres modèles mènent les six restantes :
➤ Claude Opus 5.5 : FrontierCode 2.0 (46 %), HLE-Diamond (68 %) et AA-Omniscience v1.1 (48)
➤ GPT-6 Astra : Terminal-Bench-Science (63 %) et CritPt v2 sous-ensemble difficile (72 %)
➤ Claude Sonnet 5.5 : AA-Briefcase (1812 Elo)
➤ Kimi K3.1 Pro : Terminal-Bench 4.0 (67 %)
➤ Gemini 4 Argon : AutomationBench-AA (78 %)
➤ Muse Wonder Full : GDP.pdf (33 % all-pass)
Les modèles à poids ouverts prennent un retard plus important dans la v5. Le meilleur, Kimi K3.1 Pro (poids pas encore publiés), obtient 46, soit 12 points de moins que le leader, contre un écart de 3 points dans la v4.3. Parmi les modèles aux poids publiés, DeepSeek V4.1 Flash 1017 (max) et GLM-5.3 (max) obtiennent les meilleurs scores à 32, et Claude Haiku 5.5 (max) les surpasse tous.
L'écart est le plus large sur HLE-Diamond et Terminal-Bench-Science, où Kimi K3.1 Pro obtient 37 % et 34 %, contre 68 % pour Claude Opus 5.5 (max) et 63 % pour GPT-6 Astra (max).
Le coût varie considérablement parmi les modèles de tête. Claude Opus 5.5 (max) coûte 10,04 $ par tâche de l'Intelligence Index, GPT-6 Astra (max) 6,24 $ et GPT-6.1 Sol (max) 1,27 $. GPT-6.1 Sol (max) obtient un score à moins de 4 points de Claude Opus 5.5 (max) pour environ un huitième du coût par tâche.
Les réglages d'effort comptent plus dans la v5 que dans la v4.3. Claude Opus 5.5 obtient 35 en effort faible et 58 en effort maximal, à 10 fois le coût par tâche de l'Intelligence Index (0,98 $ contre 10,04 $). Claude Sonnet 5.5 s'étend sur 29 points de l'effort faible au maximal, contre 20 dans la v4.3, et l'écart de GPT-6.1 Sol double de 10 à 20 points.
Les tâches de la v5 exigent nettement plus de travail des modèles. Chaque modèle que nous avons mesuré génère plus de tokens de sortie par tâche de l'Intelligence Index que dans la v4.3, la médiane augmentant des deux tiers, de 35k à 59k.
➤ Les évaluations agentiques représentent la majeure partie de l'utilisation de tokens : Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase et FrontierCode 2.0 représentent 55 % du poids de l'Index mais une médiane d'environ 90 % des tokens de sortie
➤ Terminal-Bench-Science est le plus gourmand en tokens : il représente à lui seul environ un tiers des Tokens par Tâche de sortie
En parallèle de la v5, nous lançons l'Artificial Analysis Progress Index v1. Il place les modèles de langage sortis depuis novembre 2022 sur une seule échelle de capacités, couvrant un large éventail de benchmarks.
Utilisez le Progress Index pour comparer l'évolution de la capacité sous-jacente au fil du temps, y compris entre des modèles sortis à des années d'intervalle. Pour comparer des modèles pour des cas d'usage actuels et comprendre la frontière présente, utilisez l'Intelligence Index, qui reste notre mesure principale de l'intelligence actuelle des modèles.
Merci à Epoch AI et Anthropic — nous nous sommes appuyés sur les enseignements de l'Epoch Capabilities Index pour concevoir le Progress Index.
Explorez l'Index du Progrès : artificialanalysis.ai/trends
Méthodologie : artificialanalysis.ai/methodology/progress-index
Merci à Cognition, Steven Dillmann et à l'équipe Terminal-Bench, au Center for AI Safety, à Scale AI, ainsi qu'à Minhui Zhu, Minyang Tian, Hao Peng et à l'équipe CritPt pour les benchmarks à l'origine de cette mise à jour.
Explorez l'ensemble des résultats : artificialanalysis.ai
Méthodologie : artificialanalysis.ai/methodology/intelligence-benchmarking