Artificial Analysis Decision Index v1.0

Todos los artículos

Artificial Analysis Decision Index v1.0

El Artificial Analysis Decision Index evalúa modelos de decisión, una nueva categoría de modelos que responden a decisiones estructuradas en una sola llamada con una probabilidad para cada opción. La versión 1.0 combina cuatro evaluaciones que abarcan clasificación, llamada de herramientas, conocimiento, alucinación y razonamiento.

Presentación del Artificial Analysis Decision Index

Los modelos de decisión son una clase emergente de modelos que producen respuestas estructuradas o clasificaciones con probabilidades asociadas. A diferencia de los modelos de lenguaje diseñados para razonamiento complejo y tareas de largo plazo, los modelos de decisión se centran en tomar decisiones estructuradas más rápido y a menor costo.

Con el lanzamiento del Artificial Analysis Decision Index v1.0, buscamos ayudar a desarrolladores y empresas a comprender las concesiones de capacidad, costo y velocidad de los modelos de decisión, tanto en relación con otros modelos de decisión como con modelos de lenguaje.

Estado

“¡Ayuda! Mis pagos llevan 3 días fallando y mi alquiler vence mañana. Esto es inaceptable.”

Preguntas

• ChoiceRoute al equipo
• Yes/No¿Urgente?
• Score¿Qué tan molesto?

Modelo de decisión

Todas las preguntas en una sola llamada, con una probabilidad para cada opción

Route al equipo

¿Urgente?

¿Qué tan molesto?

Modelo de lenguaje

Genera una salida estructurada

Los modelos de decisión eligen entre un conjunto fijo de opciones, con una probabilidad para cada una, en una sola llamada. Eso los hace baratos y rápidos, y nos permite medir su calibración.

Qué mide el Decision Index

En el lanzamiento, el Artificial Analysis Decision Index combina cuatro evaluaciones que cubren clasificación, llamadas a herramientas, conocimiento, alucinación y razonamiento:

500 preguntas privadas adaptadas de nuestro benchmark de conocimiento y alucinación AA-Omniscience. Cada una ofrece cinco opciones: cuatro respuestas, una de ellas correcta, y "No lo sé".

25% del índice: precisión y tasa de no alucinación, 12,5% cada una

Las 513 preguntas de opción múltiple solo texto de Humanity's Last Exam, cada una planteada como una elección entre sus respuestas con letras.

25% del índice

Evaluación de llamada de herramientas de NVIDIA. Dada una conversación y un conjunto de herramientas, el modelo elige si responder directamente, llamar a una herramienta, pedir más información o decir que no puede responder.

25% del índice

Conjunto de pruebas de clasificación de seguridad de Ai2. El modelo decide si la solicitud de un usuario es dañina, si la respuesta de un asistente es un rechazo y si esa respuesta es dañina.

25% del índice

También ejecutamos cada evaluación en LLM. Un LLM responde con una salida estructurada que nombra la opción que eligió, por lo que no da probabilidad para cada opción.

Resultados de los modelos de decisión

Jev 1.13 lidera el Decision Index con 58, por delante de GLiDE y Microsoft-Decision-1, ambos con 54. Jev 1.13 supera a otros modelos de decisión en el benchmark de razonamiento HLE-MultiChoice, con 21 donde otros modelos obtienen 15 o menos. En el benchmark de conocimiento y alucinación AA-Omniscience-Decision, Jev 1.13 tiene una puntuación de precisión de 35, por debajo de la mayoría de los modelos de decisión y del puntaje máximo de 41 de d1 de Liquid AI, pero tiene la segunda tasa de no alucinación más alta, 35, donde d1 obtiene solo 2. En el benchmark de llamada de herramientas When2Call, Jev 1.13 obtiene 81 en cuarto lugar, con Celeris-1 Decision y GLiDE de Fastino Labs liderando ambos con 84. Obtiene 94 en el benchmark de clasificación WildGuardTest, empatado con Decider v1.1 27B de Perplexity y un punto detrás de GLiDE con 95.

Artificial Analysis Decision Index

Costo y eficiencia temporal de los modelos de decisión

Los modelos de decisión difieren ampliamente en costo y velocidad. Los costos van de $17 a $199 por millón de tareas, y los tiempos medios de 0,06 a 0,5 segundos por tarea.

Artificial Analysis Decision Index vs. Costo por 1M de tareas

Costo promedio por tarea a los precios actuales de tokens, multiplicado por 1 millón; para el índice, el costo de una pasada por todas sus evaluaciones dividido por sus tareas combinadas, multiplicado por 1 millón. Los modelos de decisión se facturan solo por tokens de entrada, y los modelos de lenguaje por tokens de entrada y salida.

Decider v1.1 27B tiene el costo más bajo por 1M de tareas, $17, con Microsoft-Decision-1 ($31) y Jev 1.13 ($42) también en la frontera de Pareto de capacidad vs. costo. GLiDE obtiene 54, empatado con Microsoft-Decision-1, pero cuesta $119, unas tres veces más que Jev 1.13. Celeris-1 Decision tiene el tiempo más rápido por tarea, 0,06 segundos, más del doble de rápido que Jev 1.13 con 0,13 segundos.

Artificial Analysis Decision Index: Tiempo por tarea

Latencia media por tarea, en milisegundos; para el índice, la mediana en las tareas de todas sus evaluaciones.

Los modelos de decisión son sobreconfiados

Los modelos de decisión dan una probabilidad para cada opción, por lo que podemos verificar si la probabilidad que un modelo asignó a su respuesta elegida coincide con la frecuencia con que acierta. En general, en casi todos los niveles de probabilidad, la precisión queda por debajo de esa probabilidad para todos los modelos de decisión. Esto se debe a una calibración relativamente pobre en las tareas de conocimiento y razonamiento de HLE-MultiChoice y AA-Omniscience-Decision. En comparación, la mayoría de los modelos de decisión están relativamente bien calibrados en When2Call (llamada de herramientas) y WildGuardTest (clasificación).

Calibración del Artificial Analysis Decision Index

Calibración para modelos de lenguaje próximamente.

Cómo se comparan los modelos de decisión con los LLM

Los modelos de decisión ofrecen ventajas significativas de velocidad y costo frente a los modelos de lenguaje, pero quedan atrás en conocimiento y razonamiento. Claude Haiku 5.5 (Low) obtiene 61 en el Decision Index, 3 puntos más que Jev 1.13, pero tarda 1.4 segundos por tarea frente a 0.13 segundos (11 veces más lento) y cuesta $184 por un millón de tareas frente a $42 (4.4 veces más). GPT-6 Luna (Low) obtiene 55, por debajo de Jev 1.13, con 1.5 segundos por tarea y $131 por un millón de tareas.

Los modelos de lenguaje lideran en conocimiento: en la precisión de AA-Omniscience-Decision, Claude Haiku 5.5 (Low) obtiene 52 y GPT-6 Luna (Low) 66, frente a 28 a 41 de los modelos de decisión. En HLE-MultiChoice, obtienen 24 y 22, frente a 21 de Jev 1.13 y 15 o menos para todos los demás modelos de decisión.

En clasificación y llamadas a herramientas, los modelos de decisión líderes rinden de forma comparable. En WildGuardTest, GLiDE obtiene 95 y Decider v1.1 27B y Jev 1.13 obtienen 94, frente a 93 de Claude Haiku 5.5 (Low) y 89 de GPT-6 Luna (Low). En When2Call, Celeris-1 Decision y GLiDE obtienen 84, frente a 77 de GPT-6 Luna (Low) y 73 de Claude Haiku 5.5 (Low).

Índice de Decisión de Artificial Analysis

Índice de Decisión de Artificial Analysis frente al Costo por 1M de Tareas

Costo promedio por tarea a los precios actuales de tokens, multiplicado por 1 millón; para el índice, el costo de una pasada por todas sus evaluaciones dividido por sus tareas combinadas, multiplicado por 1 millón. Los modelos de decisión se facturan solo por tokens de entrada, y los modelos de lenguaje por tokens de entrada y salida.

Saber cuándo no responder

Cada pregunta de AA-Omniscience-Decision ofrece "No lo sé", y la tasa de no alucinación es la proporción de preguntas que un modelo no respondió correctamente en las que eligió esa opción. Microsoft-Decision-1 lidera los modelos de decisión con 40%, seguido de Jev 1.13 con 35% y Mercury Decide con 32%. Ningún otro modelo de decisión alcanza 17%.

AA-Omniscience-Decision: Tasa de No Alucinación

Explora más

• Las puntuaciones en vivo de los últimos modelos están en la página del Índice de Decisión de Artificial Analysis
• La página de metodología detalla cómo planteamos y puntuamos cada evaluación
• Cada una de las cuatro evaluaciones tiene su propio leaderboard: AA-Omniscience-Decision, HLE-MultiChoice, When2Call, y WildGuardTest
• Para que se añada un modelo de decisión al índice, contáctanos en decision-models@artificialanalysis.ai

Lee lo último

Muse Wonder y Muse Wonder Full: un salto material de inteligencia sobre los anteriores modelos de Meta

Meta ha lanzado Muse Wonder y Muse Wonder Full, alcanzando puntuaciones de 52 y 56 en el Artificial Analysis Intelligence Index v4.3 con máximo esfuerzo de razonamiento - cada uno una ganancia material sobre Muse Spark 1.3 (max) con 48, con una brecha de lanzamiento de solo 6 semanas

12 de octubre de 2026