Anunciamos el Artificial Analysis Intelligence Index v5, con 2 nuevos benchmarks y 3 mejoras. Por primera vez, la mayoría del Index está construido sobre datasets privados
El Artificial Analysis Intelligence Index es nuestra medida compuesta de las capacidades de los modelos en tareas que reflejan el uso real actual. La v5 es nuestra mayor actualización desde el lanzamiento de la v4 en enero. Con la v5, el 60% del Index se basa ahora en evaluaciones con conjuntos de prueba privados o respuestas reservados.
Junto con el Intelligence Index v5, lanzamos el Artificial Analysis Progress Index v1, que sigue la capacidad de los modelos a lo largo del tiempo en una escala continua.
Novedades del Intelligence Index:
➤ FrontierCode 2.0: el benchmark privado recién lanzado por Cognition de tareas de programación del mundo real, calificado según si el mantenedor del repositorio fusionaría el cambio del agente
➤ Terminal-Bench-Science: 70 tareas de investigación científica agéntica, ejecutadas en un entorno de terminal
Mejorado:
➤ HLE-Diamond (en sustitución de Humanity's Last Exam): una versión refinada de Humanity's Last Exam con 1,000 preguntas, dividida equitativamente entre preguntas de razonamiento y de conocimiento
➤ AA-Omniscience v1.1: un dataset actualizado con las preguntas saturadas y públicas eliminadas, nuevas preguntas añadidas y las preguntas ambiguas o erróneas revisadas
➤ CritPt v2: un subconjunto difícil privado de 40 preguntas de CritPt v2, revisado por los autores de CritPt y ejecutado con una herramienta de ejecución de código
Permanecen en el Index: AA-Briefcase, AutomationBench-AA, GDP.pdf y Terminal-Bench 4.0
Eliminados del Index: GDPval-AA v2.1, SciCode y AA-LCR v1.1
Resultados clave:
➤ Claude Opus 5.5 (max) lidera con 58, por delante de GPT-6 Astra (max, 57) y GPT-6.1 Sol (max, 55): Anthropic y OpenAI ocupan los cinco primeros modelos. Gemini 4 Argon (high) le sigue con 50
➤ La brecha de pesos abiertos se amplía de 3 puntos a 12: Kimi K3.1 Pro (pesos aún no publicados) es el mejor modelo de pesos abiertos con 46. Entre los pesos publicados, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) lideran con 32, 26 puntos por detrás del líder y por debajo de Claude Haiku 5.5 (max, 36)
➤ El costo por tarea varía más de 13x entre los modelos líderes: de los 10 modelos con mayor puntuación mostrados, GPT-6.1 Terra (max) es el más barato con $0.96 por tarea del Intelligence Index y Claude Fable 5.1 (max) el más caro con $13.04