Hemos lanzado AA-Omniscience v1.1, actualizando nuestro benchmark de conocimiento y razonamiento con un conjunto público renovado, la eliminación de preguntas saturadas y las correcciones de ambigüedades
AA-Omniscience es nuestro benchmark propio que mide el conocimiento y las alucinaciones de los modelos, incluyendo si los modelos admiten cuando no conocen la respuesta. Nuestra métrica principal, Net Score, recompensa las respuestas correctas, penaliza las respuestas incorrectas y trata las abstenciones de manera neutra.
AA-Omniscience se actualizó a v1.1 como parte del lanzamiento del Artificial Analysis Intelligence Index v5.
Cambios clave en AA-Omniscience v1.1:
➤ Actualizado el conjunto de datos con 3,000 preguntas: Se redujo de 6,000 preguntas, se eliminaron las preguntas que anteriormente estaban públicas y saturadas, se corrigieron los errores y ambigüedades, y se añadieron nuevas preguntas
➤ Nuevo conjunto público de 300 preguntas calibrado: AA-Omniscience v1.1 cuenta con un nuevo conjunto público en @huggingface, calibrado para coincidir con la dificultad del conjunto privado. En el lanzamiento, las puntuaciones pública y privada presentan una correlación de Pearson de 0.99 y una correlación de rango de Spearman de 0.99 para el AA-Omniscience Net Score, con una diferencia mediana de 0.0 puntos. La precisión y la tasa de alucinaciones también tienen correlaciones de 0.99, con diferencias medias de -0.07 y -0.29 puntos porcentuales, respectivamente.
➤ Distribución de dominios ligeramente actualizada: Las preguntas abarcan los mismos 6 dominios y 42 temas que en la versión 1, con una distribución revisada: Ciencia, Ingeniería y Matemáticas (600), Ingeniería de Software (600), Finanzas (450), Salud (450), Humanidades y Ciencias Sociales (450) y Derecho (450)
Resultados clave para AA-Omniscience v1.1:
➤ Orden de rango en gran medida conservado: AA-Omniscience v1.1 tiene una correlación de rango de Spearman de 0.98 con v1. El recién lanzado Gemini 4 Carbon (high) lidera con un puntaje neto de 54, seguido por Claude Opus 5.5 (48, máximo con fallback) y Claude Fable 5.1 (46, máximo con fallback). Muse Spark Open (xhigh) es el modelo de pesos abierto líder, a 28 puntos por detrás de Gemini 4 Carbon.
➤ Las puntuaciones promedio son unos 2 puntos más bajas en el conjunto actualizado: Los modelos tienen una puntuación Net Score 1.9 puntos más baja en promedio en comparación con v1, con una disminución mediana de 0.6 puntos. Algunos modelos presentan descensos mucho mayores, particularmente el MiniMax M3.1 Flash, que baja 22 puntos (16 a -6), y el MiMo V2.6 Pro, que baja 13 puntos (8 a -5).
➤ Precisión ligeramente más baja: La precisión AA-Omniscience mide el porcentaje de preguntas que el modelo responde correctamente. En promedio, los modelos responden a una media de 1.5 puntos porcentuales menos preguntas correctamente que en v1. Claude Fable 5.1 (máximo con fallback) tiene la precisión más alta, del 68%, seguido por Claude Opus 5.5 (máximo con fallback) con el 66%.
➤ Las tasas de alucinación disminuyen: AA-Hallucination mide con qué frecuencia los modelos eligen responder cuando no conocen la respuesta. La tasa mediana de alucinación disminuye en 1.4 puntos porcentuales, y Gemini 4 Argon (alto) registra la menor tasa de alucinación en 4%.