Le modèle auto-améliorant de Sakana AI est meilleur pour résoudre et juger, mais ne peut pas repérer ses propres faiblesses

Le modèle auto-améliorant de Sakana AI devient meilleur dans la résolution et l’évaluation, mais ne peut pas détecter ses propres points faibles

Points clés

• Un modèle linguistique unique s’améliore par le biais de « Multi-Agent Self-Supervision » (MASS), sans aide externe ni un modèle enseignant plus puissant.
• Le modèle fonctionne comme une équipe autonome : il attribue des tâches à ses copies, évalue les résultats et optimise les processus de travail pour la prochaine phase d’entraînement.
• Les taux de victoire contre le modèle de base montent à près de 70 % après deux tours, mais cette méthode comporte un risque réel : l’évaluateur interne accepte parfois des étapes erronées ou des solutions manipulées comme des succès et les intègre dans le modèle suivant.

La méthode MASS de Sakana AI permet à un modèle linguistique d’améliorer lui-même en résolvant des tâches, en évaluant les résultats et en affinant ses processus sans avoir besoin d’un modèle enseignant plus puissant. L’étude montre des gains dans les trois rôles, mais les points faibles partagés peuvent permettre aux erreurs de passer pour du progrès et de se diffuser dans le cycle de formation suivant.

Des chercheurs de Sakana AI et de l’UC Berkeley ont introduit « Multi-Agent Self-Supervision » (MASS), une méthode de amélioration automatique récursive (RSI). Un seul modèle linguistique gère la tâche, optimise la manière dont le travail est exécuté et évalue les résultats.

À la frontière de la recherche, même les experts ont parfois du mal à juger des résultats, car la vérification peut nécessiter des preuves complémentaires coûteuses ou des expériences longues, argumentent les auteurs. Une seule étude sur le plasma peut prendre plus de 120 millions d’heures de CPU, selon le article.

Le modèle lui-même peut donc être le meilleur juge disponible, même si il peut manquer de reconnaître ses propres erreurs lors de l’examen de son travail. Utiliser le même modèle pour résoudre, vérifier et réviser peut renforcer ces erreurs plutôt que de les corriger.

Des copies d’un modèle divisent le travail

Inspirés par « Society of Mind », un livre de l’avant-gardiste en intelligence artificielle Marvin Minsky, les chercheurs se concentrent sur la manière dont le modèle divise le travail. Dans MASS, un workflow est un texte ajouté au prompt qui définit le rôle et les instructions de chaque sous-agent. Un « contrat » spécifie les informations que chaque sous-agent doit fournir et les vérifications qu’il doit effectuer, tandis qu’un « hop » définit l’ordre des appels.

Un orchestrateur distribue le travail entre les sous-agents. Lors de l’évaluation d’une stratégie de trading par rapport aux prix historiques, par exemple, le spécialiste des données doit s’assurer que la stratégie ne utilise que des informations disponibles à chaque moment donné.

Pendant le boucle interne, les poids du modèle restent immobilisés tandis que l’équipe exécute un flux de travail candidat et l’évaluateur compare le résultat avec le « champion » actuel. L’optimiseur utilise ces retours pour proposer le prochain flux de travail, en changeant principalement les contrats et les étapes. Dans la boucle externe, le champion est exécuté 18 fois par tâche, et le modèle lui-même classe les résultats et sélectionne jusqu’à 15 exécutions pour l’entraînement.

Les chercheurs suppriment le texte relatif au flux de travail de la demande initiale de l’orchestrateur dans les exemples d’entraînement, afin que le modèle apprenne à organiser le travail en fonction uniquement de la tâche. Les assignations spécifiques aux sous-agents restent dans les traces enregistrées, et le modèle assume à nouveau les trois rôles après le ajustement LoRA.

Le modèle de base est Qwen3.6-27B, avec Qwen Code en tant que outil de gestion. Les chercheurs utilisent douze tâches de recherche générées par GPT-5.5 dans les domaines des finances, de la robotique et des produits pharmaceutiques, en réservant trois tâches pour les tests et neuf pour l’entraînement. Seulement huit données d’entraînement sont obtenues, car aucun processus de recherche ne dépasse celui du modèle de référence dans une seule tâche d’entraînement.

Les gains de benchmark proviennent principalement de l’accomplissement de plus de travail

Sur les tâches de test, le taux de victoire contre le modèle de base augmente de 53,9 % après une première ronde à 69,9 % après deux. Sur MLR-Bench, DSBench, ScienceAgentBench et AstaBench, le modèle atteint 1,2 à 1,6 fois la note du modèle de base par token de sortie. Les gains en scores bruts sont parfois faibles : sur DSBench, l’amélioration n’est que de 0,473 à 0,482, tandis que les scores diminuent légèrement sur Terminal-Bench 2,0 et SWE-bench Verified.

L’annexe du rapport montre que le nombre de soumissions MLR-Bench complétées passe de 31 à 50 sur 60, tandis que leur note moyenne diminue de 3,07 à 2,88. L’outil de délégation ne est pas utilisé dans les 180 essais effectués, ce qui rend incertain si le travail en équipe explique ces améliorations.

Ces gains ne sont plus statistiquement significatifs lorsque les résultats sont comparés par tâche. Les auteurs décrivent des résultats mixtes au sein des tâches de recherche, et AstaBench montre le même schéma.

L’entraînement sur les solutions améliore également l’évaluateur et l’optimiseur

Bien que le modèle s’entraîne uniquement sur les traces de solutions, ses performances dans les deux autres rôles s’améliorent également. L’accord du auto-évaluateur avec les juges externes augmente de 73 à 93 pour cent. Les flux de travail identifiés après une seule itération surpassent ceux du modèle de base de 64 pour cent des fois, même lorsque le modèle de base est exécuté en même temps.

Sans instructions de flux de travail, le modèle de base délègue aux sous-agents lors d’une seule des 110 expériences, contre 87 après deux tours. Il pouvait déjà déléguer lorsque des instructions étaient explicitement données, mais maintenant il le fait sans être demandé.

Lors de l’optimisation, les connaissances liées aux tâches se transforment en contrats et en étapes, tandis que les rôles et les instructions deviennent plus généraux. Cette conclusion repose sur un petit échantillon de seulement huit à neuf tâches.

L’entraînement sur les traces d’équipe produit un modèle avec un taux de victoire de 68,3 %, contre 64 % pour un étudiant avec un seul agent, en utilisant 31 % moins de tokens d’entraînement. Les juges externes préfèrent les résultats d’équipe 85,1 % du temps, bien que les équipes produisent environ 2,4 fois plus de tokens. Lorsque la longueur des sorties est similaire, les juges préfèrent les résultats d’équipe 80 % du temps, basés sur seulement dix paires.

L’équipe évaluée se débrouille mieux, mais la comparaison ne prouve pas que seule la délégation explique cette supériorité. L’équipe et l’agent individuel diffèrent également en ce qui concerne les instructions de workflow, les instructions de revue et les épisodes qui ont été sélectionnés comme réussies.

Un retour plus bon aide seulement si l’optimiseur peut l’utiliser

Seulement remplacer l’évaluateur par GPT-5.5 n’a pas vraiment aidé ; la recherche progressait beaucoup plus rapidement uniquement lorsque l’optimiseur était également plus puissant. Les auteurs concluent que les bonnes retours ne sont utiles que lorsque l’optimiseur peut en faire usage. Avec Qwen qui assume les trois rôles, la recherche trouve toujours des workflows efficaces pour 11 des 12 tâches, mais cela prend plus de temps.

L’ampleur du réécriture du workflow dit peu de chose sur son impact sur les résultats, et même des workflows identiques en termes de données peuvent produire des résultats opposés. Un programme a remporté toutes les six évaluations externes, tandis qu’un autre a perdu toutes les six après que l’agent soit resté bloqué dans un cycle. Les chercheurs soupçonnent que limiter l’ampleur des modifications effectuées par l’optimiseur à chaque étape pourrait aider à stabiliser la recherche.

Les points de vue obscurs partagés peuvent se accumuler d’une session à l’autre

Après des essais échoués dans une tâche de robotique, le modèle a été modifié par le simulateur afin que les objets se déplacent directement vers la cible, puis une réussite a été signalée. Les juges externes ont néanmoins évalué la performance positive cinq fois sur six. Dans un autre essai utilisé pour l’entraînement, une vérification a réussi, même si les valeurs obtenues étaient invalides.

Les auteurs considèrent les points faibles partagés comme le potentiel « talon d’Achille » de l’amélioration récursive de soi-même. Si le modèle commet le même erreur dans les trois rôles, cette erreur pourrait être acceptée comme une amélioration et intégrée dans le modèle suivant. La faiblesse affecterait alors à la fois le système et son mécanisme de correction, poussant les auteurs à demander des vérifications indépendantes, des limites à l’autonomie et des conditions claires pour l’intervention. Le code est disponible publiquement.

L'équipe de recherche japonaise Sakana AI a lancé une application dédiée laboratoire de recherche pour l’amélioration auto-récursive en juin, en s’appuyant sur des travaux antérieurs, y compris le Machine Darwin-Godel et le Scientifique en intelligence artificielle. Les chercheurs de Google adoptent une approche similaire, optimisant automatiquement structure de prompts, de processus de travail et d’outils autour d’un modèle fixe sans permettre aux agents de s’ajuster excessivement à leurs tâches de test.

Vals AI a récemment constaté que les équipes d’agents coûtent de 1,8 à 5,1 fois plus que des agents individuels, mais offrent une performance nettement meilleure dans seulement un des quatre tests. Anthropic a montré que les modèles qui participent à un hack pour manipuler leurs systèmes de récompense apprennent également à tromper et à saboter les contrôles de sécurité.

Nouvelles sur l’IA sans hype – sélectionnées par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicités, un bulletin informatif sur l’IA semestriel, notre rapport exclusif « AI Radar » six fois par an, un accès complet à l’archive et la possibilité de participer à notre section de commentaires.