Un nuevo punto de referencia llamado TasteVal mide qué tan bien los sistemas de IA diseñan experimentos por sí mismos y interpretan los resultados. Los hallazgos muestran una curva de mejora inusualmente pronunciada.
Esa capacidad se ha duplicado aproximadamente cada tres mes desde diciembre de 2025, según Jack Clark, cofundador de Anthropic. El laboratorio de investigación P-Zero Research lo llama “sabor de la investigación”, lo que significa la capacidad de elegir los experimentos adecuados y extraer las conclusiones correctas de ellos. El mejor modelo probado superó a un grupo de comparación formado por 24 expertos humanos, por una fracción del costo.
Clark es cofundador de Anthropic y escribe el boletín de Import AI. Basándose en los datos, ahora cree que la mejora autónoma recursiva (RSI), en la que los sistemas de IA desarrollan sus propios sucesores, podría ser posible ya en 2027. Anteriormente, esperaba el año 2028.
El punto de referencia no demuestra que los sistemas de IA ya estén mejorando por sí mismos, ya que solo captura una pequeña parte del trabajo científico. Pero muestra hacia dónde se dirige el debate: lejos del rendimiento bruto de los modelos y hacia la cuestión de cuánto trabajo de investigación independiente los modelos de lenguaje pueden realmente asumir.
TasteVal solo mide una parte de la situación
P-Zero Research define el gusto para la investigación como tres habilidades: identificar qué preguntas de investigación valen la pena ser abordadas, diseñar experimentos para responderlas y interpretar correctamente los resultados. TasteVal solo prueba las dos últimas. Elegir la dirección de investigación más prometedora se considera a menudo el núcleo de la intuición científica, pero en TasteVal esa decisión ya está tomada para el modelo.
Cada una de las ocho tareas especifica un objetivo de investigación fijo en el desarrollo de modelos de IA, junto con una puntuación medible. Las tareas abarcan áreas como la selección de datos de entrenamiento, el preentrenamiento y el ajuste fino de los modelos de lenguaje, el entrenamiento basado en preferencias humanas y la defensa contra prompts adversarios.
El modelo decide qué experimento ejecutar a continuación y utiliza los resultados para guiar su siguiente paso. Para evitar que las habilidades de programación influyan en el resultado, un agente de programación fijo ejecuta todos los experimentos en una sola GPU Nvidia H100. Cada ejecución termina después de 40 horas de cálculo en la GPU o 120 horas de tiempo real.
El punto de referencia humano provino de 24 expertos que habían trabajado recientemente en lugares como OpenAI, Google DeepMind, Nvidia y Microsoft Research. Abordaron las mismas tareas, con al menos dos personas en cada una. La mejor iniciativa humana para cada tarea sirvió como referencia.
Investigación del sabor medido a través de la eficiencia computacional
Para que la investigación tenga un sabor cuantificable, P-Zero Research la traduce en eficiencia de computación. La razón es que el cálculo computacional en la investigación de la IA es escaso, por lo que elegir los experimentos adecuados y leer correctamente sus resultados significa menos ejecuciones y más progreso con el mismo presupuesto.
El laboratorio se basa en su “Modelo de Futuros de IA”, que predice que el cálculo experimental se convertirá en el mayor cuello de botella cuando el código se automatice. Por lo tanto, TasteVal mide cuánto cálculo necesita un modelo para alcanzar las puntuaciones de los expertos. Un modelo que logre eso con la mitad del cálculo tiene el doble de interés en la investigación según esta definición. P-Zero Research denomina a este ratio el multiplicador de cálculo.
El modelo principal, Opus 5.5 de Anthropic, alcanzó un multiplicador de cálculo de 2.3, logrando puntajes de nivel experto con menos de la mitad del esfuerzo computacional necesario. Sin embargo, el rango estadístico se extiende desde 1.15 hasta 4.37. En el extremo inferior, el modelo apenas podría liderar. Una sola ejecución costó aproximadamente una trigésima parte del esfuerzo computacional que requeriría un intento de un experto en promedio.
A lo largo de varias generaciones de modelos, el multiplicador de cálculo se ha duplicado aproximadamente cada tres meses desde diciembre de 2025. La incertidumbre también es grande, ya que el tiempo necesario para la duplicación varía entre 1.7 y 5.0 meses.
En años anteriores, el gusto por la investigación de modelos se desarrollaba mucho más lentamente. La curva solo se acentuó alrededor del cambio de 2025 a 2026. No se puede determinar si ese es un trend duradero a partir de un único indicador, y los autores mismos admiten que sus resultados pueden exagerar “cuán rápido está mejorando el gusto por la investigación”. Las tareas pueden ser verificadas rápidamente y económicamente, que es el tipo de tarea que los laboratorios de IA encuentran más fácil de optimizar. El grupo de comparación tampoco incluía a ningún investigador de alto nivel.
Clark avanza su línea de tiempo
Clark ha llamado durante mucho tiempo a la creatividad como el factor clave por el cual los sistemas de IA pueden mejorarse rápidamente. Este año, escribió que los modelos no habían demostrado esta capacidad a ninguna escala revolucionaria. Ahora señala los avances en descubrimientos matemáticos y en puntos de referencia como TasteVal como indicaciones de que esto está cambiando.
En un artículo largo de mayo, Clark había presentado cifras más cautelosas. Especificó que las probabilidades de que un sistema entrenara de forma independiente a un sucesor más fuerte eran de aproximadamente el 60 por ciento para finales de 2028 y el 30 por ciento para 2027. Esa predicción proviene de alguien que cofundó la empresa cuyo modelo está en el top del benchmark, lo que añade un factor de sesgo a la predicción.
Los críticos se detuvieron exactamente en esta capacidad
TasteVal es importante porque mide la capacidad exacta que los escépticos habían señalado como un obstáculo para un gran avance en la IA. El investigador en IA Herbie Bradley rechazó el ensayo de Clark de mayo, argumentando que, aunque los modelos podrían asumir plausiblemente el trabajo de los investigadores junior, habilidades más exigentes como el gusto por la investigación, la creatividad y la planificación coherente a largo plazo no estaban en el horizonte.
En cuanto a la planificación y la evaluación de experimentos, TasteVal se opone a esa evaluación, aunque no dice nada sobre la selección de una agenda de investigación a largo plazo.
La amplitud del vacío práctico que persiste se muestra en un estudio sobre el desarrollo de IA utilizando agentes de IA liderado por un equipo de la Universidad de Fudan. Los investigadores analizaron el desarrollo de su propio modelo y descubrieron que los agentes de IA contribuyeron hasta el 55 por ciento de las propuestas metodológicas, pero los humanos todavía tomaron más del 85 por ciento de las decisiones finales. Los autores señalaron que sigue siendo poco claro cómo la IA puede generar diversas direcciones de investigación y evaluar su valor antes de que se obtengan los resultados, y ese es precisamente el tipo de decisión que TasteVal toma desde la placa de los modelos.
La discusión está cambiando
La prueba de referencia llega en medio de un debate que los principales laboratorios de IA han iniciado por sí mismos. En junio, Anthropic escribió que la mejora autónoma recursiva aún no se ha logrado, pero “podría ocurrir antes de lo que la mayoría de las instituciones están preparadas para”. El CEO de Anthropic, Dario Amodei, ahora pide un ralentecimiento controlado en el desarrollo de la IA, mientras que OpenAI reconoce que un RSI completamente autónomo aún no está ocurriendo y dice que solo debería buscarse si se garantiza la supervisión humana.
TasteVal cambia lo que se considera progreso. Durante mucho tiempo, el enfoque estuvo en qué tan bien los modelos resuelven tareas bien definidas como problemas matemáticos o desafíos de programación, pero ahora la pregunta es cada vez más si pueden tomar decisiones que impulsen la investigación.
Si la tendencia medida por P-Zero Research se confirma en otros test, las implicaciones son de ambos lados. El desarrollo de la IA se acelerará y se volverá más económico, pero al mismo tiempo, una mayor parte de la investigación será más difícil para los humanos verificar, ya que los modelos planearán y evaluarán sus propios experimentos.