Un nuevo benchmark pone a los agentes de IA a trabajar sobre preguntas de investigación abiertas de laboratorios nacionales de EE. UU. Los agentes entregan artículos que parecen investigación real pero que a menudo afirman trabajo que nunca ocurrió.
¿Pueden los agentes de IA responder de forma independiente preguntas de investigación que nadie ha resuelto aún? Un equipo liderado por investigadores de la Universidad Carnegie Mellon, en colaboración con científicos de laboratorios nacionales del Departamento de Energía de EE. UU., construyó un benchmark llamado "Into the Unknown" para averiguarlo.
Según el artículo, ninguna de las 135 presentaciones de nueve agentes de IA actuales cumplió todos los requisitos. Los autores ven el benchmark como un campo de pruebas para mejorar sistemáticamente los agentes de IA para la investigación, no para cuestionar si la IA pertenece o no a la ciencia.
Un total de 114 presentaciones ya fallan la verificación de integridad: la mayoría afirma trabajo que nunca se hizo o cita números que contradicen sus propios registros. Los agentes produjeron con facilidad textos que parecen estudios de seguimiento, escriben los autores, pero ninguno cumplió los estándares de los expertos.
Los expertos fijan el listón
Cada agente recibe un artículo científico junto con su código y datos, además de una dirección de investigación. Algunos de estos artículos ya han sido publicados, mientras que otros solo han sido enviados. A partir de ahí, se supone que el agente debe llevar a cabo un estudio de seguimiento y redactarlo como un artículo. Las 15 tareas provienen de diez investigadores en computación cuántica, física de plasmas, química, ciencia de materiales y aprendizaje automático científico. Las direcciones fueron propuestas por los propios autores de los artículos originales y, según su conocimiento, aún no se ha publicado nada sobre estos temas.
La investigación abierta plantea un problema básico: no hay clave de respuestas. Los revisores de IA, que a menudo se han usado para este propósito, se consideran poco fiables. Así que los expertos definieron las condiciones mínimas que debe cumplir un estudio de seguimiento exitoso.
La evaluación verifica si una presentación es honesta, si está completa y si supera el listón de los expertos. GPT-6 Astra se encarga de la puntuación, y cada presentación se evalúa cuatro veces. Los agentes probados fueron Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 y GLM-5.3. Tenían acceso a máquinas potentes, conectividad a internet, sin límite de tiempo y hasta cinco reinicios para mejorar su trabajo. En total, funcionaron durante casi 2,000 horas.
Solo tres agentes producen trabajo honesto en absoluto
Solo tres agentes lograron presentaciones sin violaciones de integridad: GPT-6 Astra en 11 de 15 tareas, GPT-5.6 Sol en seis, y Claude Opus 5.5 en cuatro. Cada presentación de los seis agentes restantes contenía al menos una violación.
Los problemas más comunes son discrepancias entre el artículo y el código, números contradictorios y afirmaciones falsas sobre experimentos que supuestamente se llevaron a cabo. Los valores de referencia mal reportados se acumulan entre los modelos abiertos Deepseek V4 Pro, Kimi K3, y GLM-5.3. Dos envíos con resultados codificados en el código fuente en lugar de calculados provienen de Kimi K3 y GLM-5.3.
Solo hay una entrega completa, y proviene de GPT-6 Astra. Casi todas las demás omiten documentos requeridos, como un plan de experimento pre-registrado, y ningún agente supera el estándar de los expertos. Con una puntuación más indulgente que acepta el 90 por ciento de los elementos de la rúbrica, GPT-6 Astra queda más cerca, seguido de Claude Opus 5.5 y GPT-5.6 Sol. Los modelos abiertos tienen un rendimiento considerablemente peor en conjunto.
El script de verificación se confirma a sí mismo
Los investigadores analizaron 64 trazas de trabajo y encontraron tres modos típicos de fallo. El más común, que aparece en 58 casos, es que los agentes revisan su propio trabajo con demasiada lenidad. En 34 casos, los agentes detectan un problema pero lo documentan en lugar de corregirlo. En 21 casos, reducen unilateralmente el alcance de la tarea.
Un ejemplo: Claude Fable 5 olvidó lanzar cuatro ejecuciones planificadas al iniciar sus experimentos. Su script de verificación adoptó esa misma lista incompleta e informó "41/41" ejecuciones completadas. El agente confió en ese resultado hasta el final. En una tarea diferente, GPT-5.6 Sol notó que su método no alcanzaba los objetivos pero escribió el artículo de todos modos en lugar de empezar de nuevo. DeepSeek V4 Pro abandonó experimentos porque supuestamente eran demasiado lentos para el "presupuesto de tiempo restante", a pesar de que no había límite de tiempo.
También hay contraejemplos: en una tarea de computación cuántica, GPT-5.6 Sol detectó un error fundamental, detuvo los experimentos en curso y recalculó todo desde cero.
Más tiempo de cómputo no ayuda
Tiempos de ejecución más largos no condujeron a mejores resultados. DeepSeek V4 Pro y GLM-5.3 fueron los que más tiempo corrieron, con tiempos medianos de 19.5 y 13.9 horas, pero obtuvieron puntuaciones bajas. GPT-6 Astra se conformó con una mediana de solo 1.3 horas y entregó los mejores resultados.
Como el modelo más fuerte también sirvió como evaluador, los investigadores realizaron una verificación cruzada: los autores de los artículos originales juzgaron ellos mismos los artículos de IA anonimizados. Sobre si un artículo coincidía con la dirección de investigación dada, el sistema automatizado coincidió con los expertos en todos los casos.
En cuanto a la calidad científica, los juicios coincidieron solo en alrededor de dos tercios de los casos. Un experto criticó, por ejemplo, que los artículos no contaban una historia. Juicios como estos siguen siendo tarea de revisores humanos, dicen los autores.
El código y los datos del estudio están disponibles públicamente, y la página del proyecto alberga una tabla de clasificación de los modelos probados.
Los agentes de IA pueden manejar tareas científicas con una independencia creciente, pero persiste una brecha sustancial entre ejecutar experimentos y hacer investigación independiente. Un estudio de agosto ya mostró cuánto luchan los agentes de IA con preguntas de investigación no publicadas. Epoch AI y Anthropic encontraron recientemente que los agentes tienden a presentar sus resultados de manera demasiado favorable y no cuestionan suficientemente los enfoques fallidos.
El panorama se ve mucho mejor para las tareas bien definidas: GPT-6 Astra resolvió 49 de 50 problemas no publicados de física teórica, aunque esas soluciones podían verificarse sin ambigüedad. Un análisis de más de 700 tareas del desarrollo de IA también mostró que, si bien los agentes asumen cada vez más trabajo práctico, los humanos todavía toman las decisiones clave de investigación.