Annonce de l'Artificial Analysis Intelligence Index v5, avec 2 nouveaux benchmarks et 3 mises à niveau. Pour la première fois, la majorité de l'Index repose sur des jeux de données privés
L'Artificial Analysis Intelligence Index est notre mesure composite des capacités des modèles sur des tâches reflétant l'usage réel actuel. La v5 est notre plus grande mise à niveau depuis le lancement de la v4 en janvier. Avec la v5, 60 % de l'Index est désormais basé sur des évaluations avec des jeux de tests privés ou des réponses non divulguées.
Parallèlement à l'Intelligence Index v5, nous lançons l'Artificial Analysis Progress Index v1, qui suit la capacité des modèles dans le temps sur une échelle continue.
Nouveautés de l'Intelligence Index :
➤ FrontierCode 2.0 : le nouveau benchmark privé de Cognition portant sur des tâches de codage réelles, noté selon qu'un mainteneur de dépôt accepterait ou non de fusionner la modification de l'agent
➤ Terminal-Bench-Science : 70 tâches de recherche scientifique agentiques, exécutées dans un environnement terminal
Mises à niveau :
➤ HLE-Diamond (remplaçant Humanity's Last Exam) : une version affinée de Humanity's Last Exam comportant 1,000 questions, réparties à parts égales entre questions de raisonnement et questions de connaissances
➤ AA-Omniscience v1.1 : un jeu de données mis à jour avec suppression des questions saturées et des questions du jeu public, ajout de nouvelles questions et révision des questions ambiguës ou erronées
➤ CritPt v2 : un sous-ensemble privé et difficile de CritPt v2 comportant 40 questions, révisé par les auteurs de CritPt et exécuté avec un outil d'exécution de code
Conservés dans l'Index : AA-Briefcase, AutomationBench-AA, GDP.pdf et Terminal-Bench 4.0
Retirés de l'Index : GDPval-AA v2.1, SciCode et AA-LCR v1.1
Résultats clés :
➤ Claude Opus 5.5 (max) mène avec 58, devant GPT-6 Astra (max, 57) et GPT-6.1 Sol (max, 55) : Anthropic et OpenAI occupent les cinq premières places. Gemini 4 Argon (high) suit avec 50
➤ L'écart des modèles à poids ouverts passe de 3 points à 12 : Kimi K3.1 Pro (poids pas encore publiés) est le meilleur modèle à poids ouverts avec 46. Parmi les poids publiés, DeepSeek V4.1 Flash 1017 (max) et GLM-5.3 (max) mènent avec 32 - soit 26 points derrière le leader et sous Claude Haiku 5.5 (max, 36)
➤ Le coût par tâche varie de plus de 13x parmi les modèles en tête : parmi les 10 modèles les mieux notés présentés, GPT-6.1 Terra (max) est le moins cher à 0.96 $ par tâche de l'Intelligence Index et Claude Fable 5.1 (max) le plus cher à 13.04 $