Los agentes de IA tienen un mal gusto en las decisiones a largo plazo y un nuevo benchmark lo demuestra

Los agentes de IA tienen un mal gusto en las decisiones a largo plazo y un nuevo benchmark lo demuestra

Investigadores de Microsoft y de la Universidad de la Ciudad de Hong Kong desarrollaron un método para probar qué tan bien los agentes de IA toman decisiones durante tareas de larga duración. El mejor modelo apenas alcanzó el 60 por ciento.

Los agentes de IA ahora asumen tareas de varios pasos. Podrían escribir un artículo de investigación o desarrollar un proyecto de software. En el proceso, deciden constantemente qué hipótesis probar, qué código construir o qué experimento ejecutar a continuación. Esas decisiones rara vez muestran sus efectos de inmediato. Una mala decisión suele parecer correcta al principio, y su verdadero costo solo se revela después de que el agente agote la mayor parte de su presupuesto.

Los autores del artículo llaman a la capacidad de hacer estas elecciones adecuadamente “sabor” del agente. Los estándares existentes solo miden si un agente completa una tarea, no la calidad de sus pasos en el proceso. Taste-Bench está diseñado para cubrir esa brecha.

Las decisiones a largo plazo no pueden ser juzgadas en el momento

No se puede juzgar una elección a largo plazo de inmediato. Una implementación limpia y una mal hecha pueden producir el mismo resultado al principio y pasar los mismos tests. El enfoque limpio solo tiene sentido cuando los cambios futuros sean más fáciles. La calificación humana sería costosa, requeriría conocimientos especializados profundos en el área y no permitiría escalar.

Así que los investigadores se basan en la posterioridad. El camino posterior de una trayectoria, el rastro registrado de un agente que se ejecuta con todos sus pasos y observaciones, muestra si una elección anterior funcionó. En la práctica, los sistemas de agentes intentan la misma tarea varias veces. Esas tentativas eventualmente se separan en diferentes direcciones.

Dado que el resultado final de cada intento revela el camino más adecuado, las pruebas en sí mismas proporcionan una comparación etiquetada. Los autores llaman a este punto de ramificación “una bifurcación de decisiones”. Para medir el sabor, congelan la prueba en el punto de bifurcación, ocultan todo el trabajo posterior y hacen un modelo que elige entre los dos caminos.

Los errores del pasado revelan en qué lugar los agentes cometen errores

Taste-Bench contiene 502 preguntas, cada una con la tarea original, la trayectoria hasta el bifurcado y dos direcciones posibles. El primer tipo proviene de dos intentos independientes de la misma tarea que divergen, donde el agente nunca ve el camino equivocado.

El segundo tipo proviene de un agente que se corrige por sí mismo en una sola ejecución y toma un desvío. En este caso, la dirección descartada inicialmente y la posterior que tiene éxito forman los dos candidatos. Esta variante comprueba si un modelo puede detectar el error antes de que lo haga el agente en acción.

Los datos brutos provienen de miles de ejecuciones de agentes evaluadas en tareas de investigación de programación y IA, incluyendo SWE-bench Pro y la publicación pública de transcripciones MALT de METR. Un modelo generador eliminó las ramas adecuadas, descartando preguntas triviales con respuestas obvias y eliminando casos indecidibles. La revisión humana confirmó casi todos los etiquetados generados automáticamente.

Incluso las modelos más destacadas apenas logran ganar con una tirada de moneda

El equipo probó 14 modelos actuales de las familias Claude, GPT, Grok, DeepSeek, GLM, MiniMax y Mistral. Cada pregunta se formuló dos veces, una en el orden normal y otra con las opciones invertidas. Una pregunta solo contaba si el modelo respondía correctamente en ambas ocasiones. La adivinación pura obtiene el 25 por ciento de los puntajes.

El mejor modelo probado, GPT-5.6 Sol, obtuvo una media del 59.7 por ciento, seguido de cerca por GPT-5.5 con un 59.5 por ciento. Todos los otros modelos obtuvieron puntajes muy inferiores a eso. Ninguno logró superar el benchmark, aunque todas las preguntas son solo opciones binarias. Los ramales de desvío eran consistentemente más difíciles que los paralelos.

Los modelos colapsan cuando la evidencia solo aparece más tarde

Para cada rama, el equipo verificó hasta qué punto un observador tendría que mirar para que el camino mejor se haga evidente. Cuando la pista clave ya está visible en los pasos anteriores, la precisión promedio en todos los modelos alcanza el 62.3 por ciento. Cuando esa pista solo aparece después de un trabajo extenso posterior, la precisión disminuye al 21 por ciento, similar a una suposición aleatoria. Responder a esas preguntas significa predecir el trabajo futuro.

Pensar más tiempo no ayudó. Los investigadores repitieron el test con tres configuraciones de razonamiento para dos modelos. El cambio de la configuración más baja a la más alta apenas cambió la precisión. Los modelos gastaron la mayor cantidad de tokens de razonamiento en el nivel más difícil, pensando más tiempo en las preguntas que más frecuentemente fallaban. El equipo considera esto como una señal de que la pista necesaria simplemente no existe aún en esos modelos.

Cuanto más tarde aparezca la evidencia decisoria en la trayectoria, peores son los rendimientos de los modelos, y el presupuesto de razonamiento no cambia. | Imagen: Pan et al. Los autores indican que el benchmark captura una habilidad diferente a las pruebas clásicas de punto final como SWE-bench Verified. Los modelos que obtienen puntuaciones similares allí muestran claras brechas en Taste-Bench.

El sabor puede ser entrenado después de todo

Los investigadores también demostraron que el sabor puede ser enseñado. Destilaron el juicio de un modelo de maestro, que conoce el camino correcto, en un modelo de estudiante que solo ve la pregunta. Utilizaron Qwen3.6-27B como base. En tareas no vistas, la precisión del estudiante aumentó de 30 a 47.9 por ciento.

Ese impulso se hizo efectivo en la práctica. El equipo añadió el juicio del estudiante como consejo al contexto de la tarea en cada bifurcación y permitió que un agente independiente resolviera el problema. En 41 tareas de SWE-bench Pro seleccionadas, la tasa de éxito aumentó de 14.6 a 33.7 por ciento. Si el consejo fuera perfectamente correcto, habría alcanzado el 39 por ciento, por lo que el estudiante aprovechó la mayor parte de las posibles ventajas.

El equipo concluye que el juicio de los agentes de planificación a largo plazo puede ser medido y mejorado. El benchmark y el código están disponibles públicamente.

Los agentes de IA ahora trabajan solos durante largos períodos de tiempo. En el benchmark MirrorCode, un modelo funcionó durante 19 días en una sola tarea sin ayuda humana. Los benchmarks estándar generalmente solo verifican si los tests pasan al final. METR ya ha demostrado que SWE-bench Verified sobreestima significativamente el rendimiento del agente de codificación. Los profesionales rechazaron muchas soluciones debido a errores funcionales básicos, incluso cuando los tests automatizados pasaban. El modelo principal de Taste-Bench, GPT-5.6 Sol, también mostró la mayor tasa de trampa en los tests de software jamás registrada en las evaluaciones de METR.

Noticias de IA Sin Eufemismos – Seleccionadas por Humanos

Suscríbase a THE DECODER para leer sin anuncios, un boletín semanal sobre IA, nuestro informe exclusivo “AI Radar” seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.

Lea más para ver el panorama completo.
Suscríbase para una cobertura sin emoción.

• Acceso completo a todos los artículos en THE DECODER
• Sin anuncios
• Únete a los comentarios y a las discusiones de la comunidad
• Resumen semanal de noticias sobre IA por correo
• 6 veces al año: “AI Radar” — análisis profundos sobre los temas de IA que son más importantes
• Noticias diarias sobre IA, siempre actualizadas
• Nuestro archivo completo de diez años
• Cubierto por un equipo con más de 10 años en IA