Points clés
- Ancien chercheur chez Deepmind, Thore Graepel a créé Metis Reasoning afin de rendre les systèmes d’IA plus fiables et vérifiables, en utilisant l’approche d’AlphaGo comme modèle.
- La méthode sépare les connaissances des poids du modèle et les stocke dans un registre externe, où un module indépendant vérifie chaque hypothèse en fonction des preuves.
- L’approche vise à réduire les hallucinations et à fournir des explications basées sur des sources fiables, mais pour l’instant, elle n’existe que sous forme de cadre théorique, sans système opérationnel.
Thore Graepel, ancien chercheur chez Deepmind, souhaite créer des systèmes d’IA qui identifient ce qu’ils savent et vérifient chaque conclusion contre des preuves. Selon son équipe, les modèles linguistiques plus grands ne résoudront pas ce problème.
Thore Graepel estime que la même idée qui a permis à AlphaGo de battre le joueur professionnel de Go Lee Sedol en 2016 peut rendre les systèmes d’IA plus fiables, y compris pour les robots. L’ancien chercheur de Deepmind a fondé Metis Reasoning et a présenté cette approche lors de la conférence GTC de Nvidia à Berlin, où le fabricant de puces continue d’élargir sa plateforme pour la robotique et l’intelligence physique, dans le but de transformer le problème de données de la robotique en un problème de calcul.
Un registre de connaissances plutôt que des connaissances intégrées dans les poids du modèle
Aujourd’hui, les modèles linguistiques ne sont rien de plus qu’une réseau de prédiction comme AlphaGo, qui suggérait des mouvements possibles, selon Metis. AlphaGo a associé ce réseau à une recherche systématique sur les séquences de jeu, et a découvert le célèbre Mouvement 37, un mouvement que le réseau aurait donné à un joueur humain une probabilité d’en faire un de un sur dix mille. Metis souhaite introduire ce type de recherche dans la raison générale.
Cela nécessite ce que l’article de l’entreprise appelle un registre explicite des connaissances, comparable à un plateau de jeu. Des idées similaires existent déjà : GraphRAG de Microsoft organise les connaissances en dehors des poids du modèle dans un graphe de connaissances, et AlphaGeometry2 de Google associe un modèle linguistique à un moteur symbolique qui vérifie les preuves mathématiques. Metis souhaite étendre ces principes aux questions ouvertes dans le monde réel.
Son registre de connaissances enregistre ce qui est connu, l’incertitude du système et les questions restantes ouvertes. Un module distinct vérifie les nouvelles entrées en comparaison avec des calculs, des preuves formelles ou des données empiriques ; lorsqu’une hypothèse ne tient plus, toutes les conclusions qui en dépendaient sont réévaluées. Un « mouvement » peut être une question, une expérience ou un défi à une hypothèse existante ; le système choisit celui qui réduit le plus l’incertitude concernant la question originale, offrant finalement soit une réponse, soit une abstention justifiée.
Comme AlphaGo, deux réseaux de neurones suggèrent et évaluent les mouvements, entraînés sur des données préalables, mais incapables de contourner les règles de vérification. Metis affirme que cette configuration permettrait de produire moins d’hallucinations, d’explications accompagnées de références sources, ainsi que des connaissances qui peuvent être modifiées ou supprimées sans réentraînement. Comme le raisonnement se décompose en étapes simples, cette méthode pourrait également favoriser l’utilisation de modèles plus petits fonctionnant sur des dispositifs d’extrémité ou dans les robots.
Les entreprises ne font toujours pas confiance suffisamment aux modèles de langage pour les déployer
Plus de données et de calcul améliorent les modèles linguistiques, mais cela ne résout pas les problèmes fondamentaux de la technologie, selon Metis : les modèles produisent des réponses, leurs chaînes de raisonnement ne peuvent être vérifiées, et leur connaissance est cachée dans les poids. Les hallucinations proviennent du processus d’entraînement lui-même, argue le article, car les modèles apprennent à produire du texte plausible plutôt que du texte véritable, et même les chaînes de pensée dans les modèles de raisonnement actuels manquent souvent de montrer comment une réponse a été obtenue.
D’après le papier, c’est pour cette raison que l’IA n’a eu que peu d’impact économique jusqu’à présent. Lorsqu’un agent agit au nom d’une entreprise, il est difficile de remonter les erreurs à leur source et les connaissances erronées ne peuvent pas être retirées du modèle. L’IA a connu un essor dans le génie logiciel car le code est facile à tester et à rétablir ; mais dans les domaines de la médecine, la finance, la conception de puces et la robotique, le papier affirme que l’IA doit être vérifiable dès la phase initiale.
Le document blanc décrit uniquement un programme de recherche, sans système fonctionnel, sans benchmarks, et sans comparaisons avec les modèles de raisonnement actuels. L’équipe reconnaît que le monde réel, contrairement à Go, ne fournit que des informations partielles, que les preuves peuvent être coûteuses à obtenir, et que certaines questions n’ont simplement pas de réponse. La plus grande question ouverte est de savoir comment un registre de connaissances vérifié pourrait prendre forme dans des domaines complexes au-delà des exemples présentés dans les manuels, étant donné que les systèmes d’IA symbolique ont déjà échoué précisément parce que toute leur connaissance devait être saisie manuellement.
Après Silver et Rocktäschel, un autre vétéran de Deepmind fait un coup solo
Selon son site web, Graepel a obtenu son doctorat en apprentissage automatique à Berlin en 2001. À Microsoft Research, il a contribué à la création de TrueSkill, le système de matchmaking qui sous-tend Xbox Live. Par la suite, il est parti chez Deepmind, où il a travaillé sur AlphaGo, AlphaZero et MuZero. Après un passage chez Altos Labs, il fait actuellement partie de l’équipe post-AGI de Google Deepmind, qu’il a quittée à l’été dernier. Il occupe également la chaire d’apprentissage automatique à University College London. Selon Bloomberg, Graepel prépare une levée de fonds de dizaines de millions de dollars pour Metis, avec une éventuelle levée supplémentaire de plusieurs cent millions de dollars à une valeur plus élevée déjà en cours.
C’est le dernier architecte des avancées les plus connues de Deepmind pour créer quelque chose en dehors de Google. Ancien collègue David Silver fondé Ineffable Intelligence Et a clos la plus grande levée de fonds de tout start-up européen. Tim Rocktäschel a fondé l’entreprise. Recursif, actuellement évaluée à 4,65 milliards de dollars. Les autres vont directement aux concurrents. Selon le Financial Times, Deepmind dissous l'équipe derrière AlphaFold, et le lauréat du prix Nobel John Jumper est parti avec deux collègues pour Anthropic. CNBC trace le déversement de talent En partie en raison d’un accès limité aux puces TPU de Google et à la bureaucratie, tandis que Deepmind lui-même… perdant son indépendance Et le fondateur Demis Hassabis s’est retiré des opérations quotidiennes.
Source : Metis Reasoning