El inventor de la bitter lesson tiene una lección amarga para los entusiastas del escalado de LLM

Puntos clave

• El ganador del Premio Turing Richard Sutton, autor del influyente ensayo de 2019 "The Bitter Lesson," escribe en una nueva publicación que el cómputo bruto por sí solo no basta para la inteligencia. La ciencia de la IA necesita métodos nuevos e ingeniosos y está "lejos de terminada."
• Sutton ya había criticado los límites de simplemente escalar grandes modelos de lenguaje, calificó los datos sintéticos de "gran error" y abogó por agentes con modelos del mundo que aprendan continuamente de su propia experiencia.
• El mundo real es infinitamente complejo, argumenta Sutton, y la experiencia humana como cuello de botella impide un verdadero escalado.

El inventor de la bitter lesson tiene una lección amarga para los entusiastas de los LLM. Otros investigadores están de acuerdo.

En una publicación reciente, el ganador del Premio Turing Richard Sutton afirma que el cómputo bruto por sí solo no basta para la inteligencia. La ciencia de la IA necesita métodos nuevos e ingeniosos y está "lejos de terminada." Su publicación generó un amplio debate en la comunidad de IA en X, una señal de que Sutton tocó un nervio.

En su famoso ensayo de 2019 "The Bitter Lesson," Sutton argumentó que los métodos generales que escalan con el cómputo acaban superando los enfoques sofisticados diseñados por humanos. Lo que importa son las ideas que crecen con el cómputo en lugar de depender de suposiciones humanas.

La posición de Sutton no es nueva. En declaraciones anteriores, criticó los límites de simplemente escalar grandes modelos de lenguaje. Calificó los datos sintéticos de "gran error" porque el mundo real es infinitamente complejo y cualquier simulación de este es solo "microscópica." La experiencia humana como cuello de botella impide un verdadero escalado.Ad

En cambio, abogó por agentes con modelos del mundo que aprendan continuamente de su propia experiencia. El mundo es masivamente más complejo de lo que el texto de internet puede capturar, y los modelos de lenguaje actuales no siguen aprendiendo después del entrenamiento, argumenta Sutton. Lo que se necesita es aprendizaje continuo sin destruir el conocimiento antiguo.

LLMs bajo escrutinio

El investigador de IA Jerry Tworek, que, como muchos otros, dejó OpenAI, una de las principales empresas de IA, para explorar nuevos enfoques de IA, contextualiza la última declaración de Sutton. La bitter lesson sigue siendo válida, pero cuanto más cómputo se destina al entrenamiento de modelos, más importa el algoritmo, escribe Tworek.

Algunos algoritmos escalan, otros llegan a callejones sin salida, y muchas dimensiones del escalado permanecen completamente inexploradas. El éxito temporal del escalado de los transformadores, combinado con una lectura errónea de la bitter lesson, "ha hackeado por recompensa los cerebros de toda una generación de científicos".

El investigador en IA Jayden Teoh añade otra perspectiva. Dice haber visto repetidamente cómo la bitter lesson frena la investigación académica, con ideas prometedoras descartadas por alejarse demasiado de su espíritu. Teoh sostiene que esta no es culpa de Sutton, sino una mala lectura de su mensaje original.Ad

Teoh también argumenta que las ideas que, en retrospectiva, parecían no seguir la bitter lesson fueron a menudo reemplazadas por enfoques más limpios y generales. Eso no hacía que esas ideas fueran erróneas, dice; a menudo eran lo que permitió el progreso en su momento. Quiere que la comunidad investigadora deje de descartar dicho trabajo tan pronto como aparece. "Una idea no necesariamente tiene que sobrevivir al escalado para siempre para ser una contribución importante al progreso de la IA", escribe Teoh.

La tensión entre el llamado de Sutton a nuevos métodos de aprendizaje y la crítica de Tworek al escalado ciego de transformers se refleja en una creciente ola de startups. En el más reciente Frontier Radar #5, rastreamos 45 nuevos laboratorios de IA que apuestan precisamente por estas brechas.

El propio Tworek dirige Core Automation, uno de esos laboratorios, en busca de algoritmos de aprendizaje más allá del preentrenamiento y el aprendizaje por refuerzo. Lo que une a estos fundadores, incluido Sutton con Oak Lab, es que creen en una IA mucho más capaz pero dudan de que la receta actual por sí sola llegue hasta ahí.

Algunos aún apuestan por el escalado de LLM

Destacados líderes de la industria ven las cosas de manera muy diferente. El CEO de OpenAI, Sam Altman, considera que el escalado de los grandes modelos de lenguaje está lejos de estar agotado y acusa a los críticos de los LLM de frenar a toda una generación de investigadores por estar demasiado seguros de lo que el escalado no puede hacer.

Como evidencia, señala un modelo de OpenAI que recientemente refutó una conjetura matemática que los matemáticos llevaban mucho tiempo sin poder resolver. Considera útiles los modelos del mundo, por ejemplo en robótica, pero dice que los datos claramente favorecen un mayor escalado de los LLM.

El CEO de Anthropic, Dario Amodei, argumenta de manera similar, calificando el progreso del escalado como un arcoíris sin fin. Como CEOs de las dos empresas de IA cuyo enfoque técnico completo descansa sobre esta apuesta, Amodei y Altman obviamente están sesgados a su favor.