GPT-6-Astra resuelve 49 de los 50 problemas de investigación física por solo $2.40 cada uno

GPT-6-Astra resuelve 49 de los 50 problemas de investigación física por solo $2.40 cada uno

Un nuevo benchmark muestra que los mejores agentes de IA pueden resolver los cálculos de física teórica con la misma precisión que los especialistas líderes en cada subfield. Los investigadores detrás de él dicen que la falta de un sentido de “saboreo” es una de las razones por las cuales aún no se han logrado avances.

Trenta y cinco investigadores de instituciones como el Centro Internacional de Ciencias Teóricas (ICTS), la Universidad de Harvard, KU Leuven y Google DeepMind han publicado TheoPhysEval. El benchmark contiene 50 problemas de investigación no publicados en física teórica, con respuestas verificables. Según los autores, un experto líder en el subcampo relevante necesitaría aproximadamente un día o menos para resolver un problema típico sin ayuda de la IA. Los especialistas de campos cercanos necesitarían mucho más tiempo.

El equipo probó agentes de IA disponibles en el mercado y no les dio ninguna indicación humana. GPT-6-Astra, que funciona en el entorno de programación Codex de OpenAI, fue el mejor. Encontró la respuesta correcta para 49 de 50 problemas, es decir, el 98 por ciento, a un costo promedio de menos de $3 por problema y poco menos de $116 para todo el benchmark.

Las pruebas de referencia evalúan el trabajo de investigación rutinario, no los desafíos de gran escala

La colección omite deliberadamente las principales preguntas abiertas y se centra en lo que los autores llaman “problemas de girar la manivela”, donde los investigadores aplican métodos conocidos a una pregunta ligeramente modificada. Los colaboradores a menudo modifican algunos valores en un cálculo de uno de sus propios artículos recientes, de modo que el resultado nuevo no pueda ser adivinado a partir del antiguo. Según los investigadores, este tipo de problemas suelen entregarse a los estudiantes de doctorado como primer paso en la investigación.

Un ejemplo de la investigación sobre agujeros negros muestra cuán difíciles siguen ser estos problemas. Para resolverlos, es necesario encontrar un artículo antiguo, transferir sus ecuaciones del espacio-tiempo de cinco dimensiones al de cuatro dimensiones y luego calcular el resultado con un programa personalizado. El coordinador Suvrat Raju, coautor del artículo antiguo, necesitó aproximadamente un día. Los autores estiman que, antes de la llegada de los agentes modernos, solo un puñado de expertos tenía tanto el conocimiento físico como la experiencia con estos métodos computacionales. Incluso ellos habrían necesitado varios días.

Los problemas abarcan once subcampos de la física teórica, desde los flujos de fluido y los procesos biológicos hasta la física de partículas y la cosmología. Cada agente realizó el test dos veces: una vez en condiciones realistas con búsqueda en la web y otra vez en aislamiento sin acceso a Internet.

Opus 5.5 de Anthropic, que se ejecuta en Claude Code, obtuvo el segundo lugar con un 92 por ciento. Gemini 3.8 Flash de Google obtuvo un 68 por ciento, mientras que los modelos de peso abierto DeepSeek-V4.1-Flash y GLM 5.3 alcanzaron el 54 y el 42 por ciento, respectivamente. Los modelos más débiles a veces cometían errores que un experto habría detectado de inmediato. En el problema del agujero negro, Gemini y GLM copiaron las fórmulas del artículo antiguo sin cambiarlas durante la búsqueda en la web. Esas fórmulas se aplican a cinco dimensiones, no a las cuatro necesarias.

El acceso a Internet hizo una diferencia sorprendentemente pequeña. Sin búsqueda en la web, Astra y Opus obtuvieron cada uno un 92 por ciento. Muchos problemas dependen de fórmulas de artículos de investigación que los modelos normalmente no recibían. Los autores consideran esto como una señal de que los modelos de lenguaje líderes han memorizado efectivamente grandes partes de la literatura de física teórica.

Con la búsqueda en la web, Astra resolvió todo, excepto un problema que desconcertaba a todos los modelos. Se trataba de una ecuación que producía una curva específica. La solución de los expertos se basa en formas matemáticas especiales que, en un sentido más amplio, constituyen la ecuación diferencial requerida. Los autores admiten que el problema pueda parecer “no justo”, pero lo consideran realista, ya que los investigadores a menudo tienen que inferir la física subyacente a partir de datos imprecisos.

Varios errores de la IA resultaron ser defectos en la clave de respuesta

Para varios problemas, las consultas con los expertos revelaron errores pequeños y difíciles de detectar en sus soluciones de referencia. Una vez que esos errores se corrigieron, la respuesta de Astra era correcta en todas las ocasiones.

Este patrón también podría explicar una aparente contradicción. Los agentes obtienen mejores resultados en TheoPhysEval que en algunos otros puntos de prueba de física, como CritPt, aunque los autores consideran que sus propios problemas son más difíciles en promedio. Un estudio reciente encontró que algunos puntos de prueba de física teórica se califican de forma incorrecta y, en algunos casos, subestiman gravemente lo que los modelos pueden hacer.

Cualquiera que quiera comprobar los resultados puede descargar los problemas y la configuración de prueba como un conjunto de datos en Hugging Face.

¿Por qué los cálculos sólidos no han llevado a avances en física?

Los autores escriben que algunos de los modelos más potentes actuales podrían ya haber superado a los mejores investigadores humanos en cálculos concretos, incluso en campos especializados. Ellos lo denominan un hito importante.

El impacto es aún más evidente en las matemáticas, según señalan, donde los agentes de IA ya han resuelto problemas importantes abiertos. Según OpenAI, eso incluye el problema de Navier-Stokes, relacionado con las ecuaciones que describen el flujo de fluido, uno de los famosos Problemas del Premio Milenio. La física teórica aún no ha visto un avance comparable.

Los autores explican que un cálculo con un resultado verificable solo se logra al final del proceso de investigación. Antes de eso, es necesario construir una teoría y hacer las “preguntas correctas”. Cuando un problema resulta demasiado difícil, un buen investigador pasa a un problema relacionado que sea más sencillo y igualmente interesante. Los agentes actuales no son buenos para eso.

Los físicos también comparten un sentido común, aunque no unánime, sobre qué hace interesante un problema. Los agentes, en cambio, no parecen tener este “sabor”. Cuando se les pide diseñar nuevos problemas, se pierden en detalles que una persona humana consideraría aburridos.

Los investigadores enfatizan que estas observaciones no pueden ser cuantificadas y no constituyen una predicción de hacia dónde se dirige la IA. Creen que los agentes de IA podrían realizar investigaciones de nivel superior por sí mismos en el futuro cercano, pero eso requerirá más que la capacidad de resolver problemas.

La IA ya está cambiando la forma en que los físicos se entrenan y quién puede competir.

Los autores ya ven las consecuencias para el entrenamiento. Hasta hace poco, algunos problemas de referencia habrían funcionado bien como proyectos de investigación iniciales para investigadores en etapa temprana de su carrera. Pero eso ya no es apropiado, a menos que el objetivo sea explícitamente simplemente trabajar con ese material.

También señalan un problema estructural: históricamente, la física teórica ha necesitado mucho menos dinero que la investigación experimental, lo que ha mantenido las oportunidades en el campo relativamente iguales. Los agentes de IA capaces podrían cambiar eso. Los problemas de referencia siguen siendo baratos de resolver, y el costo total de operación de Astra es de aproximadamente $116. Sin embargo, para los problemas más difíciles, los autores esperan que las necesidades de recursos aumenten significativamente. En ese punto, el presupuesto de un grupo de investigación podría tener más influencia sobre lo que puede lograr, incluso en física teórica. Los autores dicen que esto plantea preguntas sobre el acceso y las oportunidades iguales en el campo.

Las matemáticas ya están teniendo estos debates, por ejemplo en torno a la Declaración de Leiden. Los autores sostienen que la física teórica también debería tenerlos, antes de que la IA revierta el campo. Al menos una escuela de pensamiento en física ha instado hasta ahora a los investigadores a “callarse y calcular”. Si el gusto y la visión comienzan a importar más, los físicos podrían necesitar “detenerse y pensar” en su lugar.

Noticias de IA Sin Efecto Falso – Se seleccionan por humanos

Suscríbase a THE DECODER para leer sin anuncios, un boletín semanal sobre IA, nuestro informe de vanguardia “AI Radar” exclusivo seis veces al año, acceso completo al archivo y acceso a nuestra sección de comentarios.

Lea más para ver el panorama completo.
Suscríbase para obtener una cobertura sin espectáculo.

• Acceso completo a todos los artículos en THE DECODER
• Sin anuncios
• Únete a los comentarios y a las discusiones de la comunidad
• Resumen semanal de noticias sobre IA por correo
• 6 veces al año: “AI Radar” — análisis profundos sobre los temas de IA que son más importantes
• Noticias diarias sobre IA, siempre al día
• Nuestro archivo completo de diez años
• Cubierto por un equipo con más de 10 años en IA