Anuncio del Artificial Analysis Intelligence Index v5
La versión 5 del Índice incluye 2 benchmarks nuevos y 3 actualizaciones. Por primera vez, la mayoría del Índice se basa en datasets privados
El Artificial Analysis Intelligence Index es nuestra medida compuesta de las capacidades de los modelos en tareas que reflejan el uso real actual. La v5 es nuestra mayor actualización desde que la v4 se lanzó en enero. Con la v5, el 60% del Índice se basa ahora en evaluaciones con conjuntos de prueba privados o respuestas reservadas.
Junto con el Intelligence Index v5, lanzamos el Artificial Analysis Progress Index v1, que rastrea la capacidad de los modelos a lo largo del tiempo en una escala continua.
Novedades del Intelligence Index:
➤ FrontierCode 2.0: El benchmark privado recién lanzado por Cognition de tareas de programación del mundo real, evaluado según si el mantenedor del repositorio aceptaría el cambio del agente
➤ Terminal-Bench-Science: 70 tareas de investigación científica agéntica, ejecutadas en un entorno de terminal
Actualizaciones:
➤ HLE-Diamond (en sustitución de Humanity's Last Exam): una versión refinada de 1,000 preguntas de Humanity's Last Exam, dividida equitativamente entre preguntas de razonamiento y de conocimiento
➤ AA-Omniscience v1.1: un dataset actualizado con preguntas saturadas y de conjuntos públicos eliminadas, nuevas preguntas añadidas y preguntas ambiguas o erróneas revisadas
➤ CritPt v2: un subconjunto duro privado de 40 preguntas de CritPt v2, revisado por los autores de CritPt y ejecutado con una herramienta de ejecución de código
Permanecen en el Índice: AA-Briefcase, AutomationBench-AA, GDP.pdf y Terminal-Bench 4.0
Eliminados del Índice: GDPval-AA v2.1, SciCode y AA-LCR v1.1
Pesos del Intelligence Index v5:
➤ Trabajo de conocimiento (25%): AA-Briefcase (15%), AutomationBench-AA (5%) y GDP.pdf (5%)
➤ Programación (25%): FrontierCode 2.0 (15%) y Terminal-Bench 4.0 (10%)
➤ Ciencia (25%): Terminal-Bench-Science (15%) y subconjunto duro de CritPt v2 (10%)
➤ General (25%): AA-Omniscience v1.1 15% (10% precisión, 5% no alucinación) y HLE-Diamond (10%)
Resultados clave:
➤ Claude Opus 5.5 (max) lidera con 58, por delante de GPT-6 Astra (max, 57) y GPT-6.1 Sol (max, 55): Anthropic y OpenAI ocupan los cinco primeros modelos. Gemini 4 Argon (high) le sigue con 50
➤ La brecha de pesos abiertos se amplía de 3 puntos a 12: Kimi K3.1 Pro (pesos aún no publicados) es el modelo de pesos abiertos más alto con 46. Entre los pesos publicados, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) lideran con 32, 26 puntos por detrás del líder y por debajo de Claude Haiku 5.5 (max, 36)
➤ El costo por tarea varía más de 13 veces entre los modelos líderes: de los 10 modelos con mayor puntuación mostrados, GPT-6.1 Terra (max) es el más barato con $0.96 por tarea del Intelligence Index y Claude Fable 5.1 (max) el más caro con $13.04
FrontierCode 2.0 es la última actualización del benchmark privado de programación de Cognition. Lanzado hoy temprano, comprende 132 tareas en repositorios reales de código abierto, calificadas según si un mantenedor fusionaría el cambio del agente. Un intento que falla cualquier verificación de bloqueo puntúa 0, y las tareas se mantienen privadas para evitar contaminación. Ejecutamos cada tarea tres veces en Stirrup, nuestro harness agéntico.
Claude Opus 5.5 (max) lidera con 46%, seguido de GPT-6 Astra (max), GPT-6.1 Terra (max) y Claude Sonnet 5.5 (max), todos con 42%. DeepSeek V4.1 Flash 1017 (max) es el modelo de pesos abiertos con mayor puntuación con 28%, 18 puntos por detrás del líder.
Terminal-Bench-Science evalúa si los agentes pueden llevar a cabo flujos de trabajo de investigación científica en una terminal. Expertos curan y revisan cada tarea, y una tarea se aprueba solo si todas sus pruebas pasan.
GPT-6 Astra (max) lidera con 63%, seguido de Claude Opus 5.5 (max) con 59% y GPT-6.1 Sol (max) con 58%. Las puntuaciones caen bruscamente por debajo de los líderes: el mejor modelo de pesos abiertos, Kimi K3.1 Pro (pesos aún no publicados), puntúa 34%, y Claude Haiku 5.5 (max) puntúa 20%. El mejor modelo de pesos abiertos con pesos publicados, DeepSeek V4.1 Flash 1017 (max), puntúa 13%, y la mayoría de los modelos de pesos abiertos que evaluamos puntúan por debajo del 10%.
HLE-Diamond reemplaza a Humanity's Last Exam en el Index. Es la versión refinada de 1,000 preguntas de Humanity's Last Exam del Center for AI Safety (CAIS) y Scale AI, dividida equitativamente entre razonamiento y conocimiento. Claude Opus 5.5 (max) lidera con 68%, seguido de GPT-6 Astra (max) con 64% y Claude Fable 5.1 (max) con 60%.
Las preguntas de conocimiento son más difíciles que las de razonamiento para los modelos líderes: Claude Opus 5.5 (max) y GPT-6 Astra (max) puntúan ambos 78% en razonamiento, en comparación con 58% y 50% en conocimiento.
AA-Omniscience v1.1 es una versión depurada de nuestro benchmark de conocimiento y alucinación, con las preguntas saturadas y de conjuntos públicos eliminadas, nuevas preguntas añadidas y preguntas ambiguas o erróneas revisadas. Las puntuaciones están mayormente alineadas con v1, con modelos puntuando en promedio 2 puntos menos en el AA-Omniscience v1.1 Index (mediana 0.6). También hemos publicado un nuevo subconjunto público en Hugging Face, AA-Omniscience-Public-v1.1, recalibrado para garantizar que la precisión, la tasa de alucinación y el rendimiento general sean consistentes entre los conjuntos público y privado.
Las puntuaciones del Index CritPt v2 sobre un subconjunto duro privado de 40 preguntas: las 70 preguntas de física de nivel de investigación, menos las 30 que siete modelos frontera resolvieron en los cinco intentos en el lanzamiento. Los modelos trabajan en un sandbox de Python sin conexión en Stirrup, nuestro harness agéntico.
GPT-6 Astra lidera con un 72% en esfuerzo alto, seguido de GPT-6.1 Sol con un 69% en esfuerzo máximo. Claude Opus 5.5 (max), el modelo mejor clasificado del Índice en general, obtiene un 61%. Kimi K3.1 Pro (pesos aún no publicados) es el modelo de pesos abiertos con mayor puntuación, con un 45%.
v5 deja un margen significativo de progreso en las nueve evaluaciones, y ningún modelo lidera todas. De los modelos que medimos, Claude Opus 5.5 lidera tres, y otros cinco modelos lideran los seis restantes:
➤ Claude Opus 5.5: FrontierCode 2.0 (46%), HLE-Diamond (68%) y AA-Omniscience v1.1 (48)
➤ GPT-6 Astra: Terminal-Bench-Science (63%) y el subconjunto difícil de CritPt v2 (72%)
➤ Claude Sonnet 5.5: AA-Briefcase (1812 Elo)
➤ Kimi K3.1 Pro: Terminal-Bench 4.0 (67%)
➤ Gemini 4 Argon: AutomationBench-AA (78%)
➤ Muse Wonder Full: GDP.pdf (33% all-pass)
Los modelos de pesos abiertos quedan aún más atrás en v5. El mejor, Kimi K3.1 Pro (pesos aún no publicados), obtiene un 46, 12 puntos por detrás del líder, en comparación con una brecha de 3 puntos en v4.3. De los modelos con pesos publicados, DeepSeek V4.1 Flash 1017 (max) y GLM-5.3 (max) obtienen la puntuación más alta con 32, y Claude Haiku 5.5 (max) los supera a todos.
La brecha es más amplia en HLE-Diamond y Terminal-Bench-Science, donde Kimi K3.1 Pro obtiene un 37% y un 34%, en comparación con el 68% de Claude Opus 5.5 (max) y el 63% de GPT-6 Astra (max).
El costo varía ampliamente entre los modelos líderes. Claude Opus 5.5 (max) cuesta $10.04 por tarea del Intelligence Index, GPT-6 Astra (max) $6.24 y GPT-6.1 Sol (max) $1.27. GPT-6.1 Sol (max) obtiene una puntuación a menos de 4 puntos de Claude Opus 5.5 (max) a aproximadamente un octavo del costo por tarea.
Las configuraciones de esfuerzo importan más en v5 que en v4.3. Claude Opus 5.5 obtiene 35 en esfuerzo bajo y 58 en esfuerzo máximo, con un costo por tarea del Intelligence Index 10 veces mayor ($0.98 vs $10.04). Claude Sonnet 5.5 abarca 29 puntos de esfuerzo bajo a máximo, frente a 20 en v4.3, y el rango de GPT-6.1 Sol se duplica de 10 a 20 puntos.
Las tareas de v5 exigen sustancialmente más trabajo de los modelos. Cada modelo que medimos genera más tokens de salida por tarea del Intelligence Index que en v4.3, con la mediana aumentando dos tercios, de 35k a 59k.
➤ Las evaluaciones agénticas representan la mayor parte del uso de tokens: Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase y FrontierCode 2.0 constituyen el 55% del peso del Índice, pero una mediana de ~90% de los tokens de salida
➤ Terminal-Bench-Science es la más intensiva en tokens: por sí sola representa aproximadamente un tercio de los tokens de salida por tarea
Junto con v5, lanzamos el Artificial Analysis Progress Index v1. Sitúa a los modelos de lenguaje publicados desde noviembre de 2022 en una sola escala de capacidades, a lo largo de una amplia gama de benchmarks.
Use el Progress Index para comparar cómo ha cambiado la capacidad subyacente con el tiempo, incluso entre modelos publicados con años de diferencia. Para comparar modelos en casos de uso actuales y comprender la frontera presente, use el Intelligence Index, que sigue siendo nuestra medida principal de la inteligencia actual de los modelos.
Gracias a Epoch AI y Anthropic: nos basamos en los aprendizajes del Epoch Capabilities Index al diseñar el Progress Index.
Explora el Índice de Progreso: artificialanalysis.ai/trends
Metodología: artificialanalysis.ai/methodology/progress-index
Gracias a Cognition, Steven Dillmann y el equipo de Terminal-Bench, al Center for AI Safety, a Scale AI, y a Minhui Zhu, Minyang Tian, Hao Peng y el equipo de CritPt por los benchmarks detrás de esta actualización.
Explora los resultados completos: artificialanalysis.ai
Metodología: artificialanalysis.ai/methodology/intelligence-benchmarking