L'inventeur de la bitter lesson a une bitter lesson pour les enthousiastes du scaling des LLM

Points clés

• Le lauréat du prix Turing Richard Sutton, auteur de l'essai influent de 2019 "The Bitter Lesson", écrit dans une nouvelle publication que la puissance de calcul brute ne suffit pas pour l'intelligence. La science de l'IA a besoin de nouvelles méthodes astucieuses et est "loin d'être terminée."
• Sutton avait déjà critiqué les limites du simple scaling des grands modèles de langage, qualifié les données synthétiques de "grande erreur" et appelé à des agents dotés de modèles du monde qui apprennent continuellement de leur propre expérience.
• Le monde réel est infiniment complexe, soutient Sutton, et l'expertise humaine en tant que goulot d'étranglement empêche un véritable scaling.

L'inventeur de la bitter lesson a une bitter lesson pour les enthousiastes des LLM. D'autres chercheurs sont d'accord.

Dans une publication récente, le lauréat du prix Turing Richard Sutton affirme que la puissance de calcul brute ne suffit pas pour l'intelligence. La science de l'IA a besoin de nouvelles méthodes astucieuses et est "loin d'être terminée." Sa publication a déclenché une large discussion dans la communauté de l'IA sur X, signe que Sutton a touché un point sensible.

Dans son célèbre essai de 2019 "The Bitter Lesson", Sutton soutenait que les méthodes générales qui s'adaptent à la puissance de calcul finissent par battre les approches sophistiquées conçues par les humains. Ce qui compte, ce sont les idées qui croissent avec la puissance de calcul plutôt que celles qui reposent sur des hypothèses humaines.

La position de Sutton n'est pas nouvelle. Dans des déclarations antérieures, il avait critiqué les limites du simple scaling des grands modèles de langage. Il a qualifié les données synthétiques de "grande erreur" parce que le monde réel est infiniment complexe et que toute simulation de celui-ci n'est que "microscopique." L'expertise humaine en tant que goulot d'étranglement empêche un véritable scaling.Pub

Au lieu de cela, il a appelé à des agents dotés de modèles du monde qui apprennent continuellement de leur propre expérience. Le monde est massivement plus complexe que ce que le texte d'internet peut capturer, et les modèles de langage actuels ne continuent pas d'apprendre après l'entraînement, soutient Sutton. Ce qu'il faut, c'est un apprentissage continu sans détruire les anciennes connaissances.

Les LLM sous surveillance

Le chercheur en IA Jerry Tworek, qui, comme beaucoup d'autres, a quitté OpenAI, l'une des grandes entreprises d'IA, pour explorer de nouvelles approches de l'IA, replace la dernière déclaration de Sutton dans son contexte. La bitter lesson reste valable, mais plus la puissance de calcul investie dans l'entraînement des modèles augmente, plus l'algorithme compte, écrit Tworek.

Certains algorithmes passent à l'échelle, d'autres butent sur des impasses, et de nombreuses dimensions du scaling restent totalement inexplorées. Le succès temporaire du scaling des transformers, combiné à une mauvaise lecture de la bitter lesson, « a hacké par la récompense le cerveau de toute une génération de scientifiques. »

Le chercheur en IA Jayden Teoh apporte un autre éclairage. Il dit avoir vu à maintes reprises la bitter lesson freiner la recherche académique, des idées prometteuses étant écartées parce qu'elles s'éloignaient trop de son esprit. Teoh estime que ce n'est pas la faute de Sutton, mais une mauvaise interprétation de son message original.Ad

Teoh soutient également que les idées qui semblaient, rétrospectivement, ne pas suivre la bitter lesson ont souvent été remplacées par des approches plus propres et plus générales. Cela ne rendait pas ces idées fausses, dit-il ; elles étaient souvent ce qui permettait le progrès à l'époque. Il souhaite que la communauté de recherche cesse de rejeter d'emblée ces travaux dès leur apparition. « Une idée ne doit pas nécessairement survivre au scaling pour toujours pour constituer une contribution importante au progrès de l'IA », écrit Teoh.

La tension entre l'appel de Sutton à de nouvelles méthodes d'apprentissage et la critique de Tworek contre le scaling aveugle des transformers se manifeste dans une vague croissante de startups. Dans le dernier Frontier Radar #5, nous avons suivi 45 nouveaux laboratoires d'IA qui misent précisément sur ces lacunes.

Tworek dirige lui-même Core Automation, l'un de ces laboratoires, à la recherche d'algorithmes d'apprentissage au-delà du pré-entraînement et de l'apprentissage par renforcement. Ce qui unit ces fondateurs, y compris Sutton avec Oak Lab, c'est qu'ils croient en une IA bien plus capable mais doutent que la recette actuelle seule y parvienne.

Certains misent encore sur le scaling des LLM

D'éminents leaders de l'industrie voient les choses très différemment. Le PDG d'OpenAI, Sam Altman, considère que le scaling des grands modèles de langage est loin d'être épuisé et accuse les critiques des LLM de ralentir toute une génération de chercheurs en étant trop sûrs de ce que le scaling ne peut pas faire.

Comme preuve, il cite un modèle d'OpenAI qui a récemment réfuté une conjecture mathématique que les mathématiciens n'avaient pas réussi à percer depuis longtemps. Il considère les world models comme utiles, par exemple en robotique, mais affirme que les données penchent clairement en faveur d'un scaling accru des LLM.

Le PDG d'Anthropic, Dario Amodei, argumente de manière similaire, qualifiant les progrès du scaling d'arc-en-ciel sans fin. En tant que PDG des deux entreprises d'IA dont toute l'approche technique repose sur ce pari, Amodei et Altman sont évidemment biaisés en sa faveur.