Récemment, sur le tout dernier classement de MolmoSpaces, le benchmark mondial de référence pour l'évaluation zéro-shot de l'intelligence embarquée lancé par l'Allen Institute for AI (AI2), EchoPolicy-0, le framework VLM Agent d'Opérations de robots généralistes de Magic Atom, s'est classé premier mondial sur le classement MolmoSpaces Combined avec un taux de réussite moyen de 75,4 % aux opérations robotiques, couvrant l'ensemble des 4 tâches v1.
Dans le même classement et le même groupe, MagicBrain, le framework d'Agent d'intelligence incarnée développé en interne par Magic Atom, avec une taille de paramètres de 3.4B, se classe quatrième mondial au classement MolmoSpaces Combined avec un taux de réussite moyen de 72.4 % en manipulation robotique, atteignant un taux de réussite de préhension de 94.4 %, bien au-dessus de la moyenne du secteur.
Le classement MolmoSpaces est actuellement la référence d'évaluation zéro-shot la plus crédible dans le domaine mondial de l'intelligence embarquée, couvrant la manipulation, la navigation et des tâches embarquées plus longues. L'écosystème MolmoSpaces comprend plus de 23万 d'environnements intérieurs et environ 13万 d'actifs d'objets, offrant une riche source de variations pour l'évaluation. Les robots doivent faire face à des situations dépassant les environnements de démonstration fixes, rechercher des cibles sous différents arrière-plans, structures géométriques et distributions d'objets, et accomplir les tâches en fonction des conditions locales.
En même temps, MolmoSpaces comprend des objets rigides déplaçables et des objets interactifs articulés ; les robots doivent non seulement trouver la bonne cible dans les images, mais aussi modifier l'état des objets au moyen de contacts physiques réels simulés, ce qui donne aux tâches des robots une difficulté substantielle.
Le benchmark MolmoSpaces fournit explicitement la scène initiale, la configuration du robot et de la caméra, les instructions de tâche et les conditions de réussite ; une liste complète, une notation unifiée et des résultats publics permettent de transformer des démonstrations dispersées en données comparables. Les quatre tâches auxquelles participent EchoPolicy-0 et le framework MagicBrain de Magic Atom portent respectivement sur la préhension d'objets libres, l'interaction avec des objets articulés et la manipulation multi-étapes, examinant sous différents angles les capacités systémiques du framework d'agent d'intelligence incarnée, plutôt que de se limiter à un seul indicateur.
Depuis 2026, l'intelligence incarnée passe du stade de la démonstration aux véritables chaînes de production, et le centre de la concurrence se déplace vers le « cerveau » des robots — les grands modèles d'intelligence incarnée. Alors que les capacités de contrôle du mouvement des robots s'améliorent rapidement, que leur corps devient plus souple et plus durable, l'application pratique du cerveau évolue elle aussi rapidement à mesure que les frontières du corps s'ouvrent. En conséquence, l'axe de recherche du marché se déplace : comment accomplir des tâches plus complexes, comment maîtriser rapidement de nouvelles tâches. L'évaluation de MolmoSpaces s'intéresse également à la capacité de généralisation des grands modèles d'intelligence incarnée.
Le responsable du MagicLab Studio, laboratoire de recherche de Magic Atom, a déclaré : « Concernant le choix de la voie du cerveau incarné, nous approuvons l'approche de l'architecture hiérarchique et constatons que la capacité à suivre les instructions représente actuellement une difficulté pour les modèles dans les tâches générales. EchoPolicy garantit la capacité à suivre les instructions grâce à un cadre d'Agent et à la notation des trajectoires ; MagicBrain optimise l'efficacité du suivi des instructions au moyen d'un guidage visuel de bout en bout, et les deux ont obtenu de bons résultats. »
EchoPolicy-0 : permettre aux robots de partager une même façon de penser et d'agir en multitâche
Pour qu'un robot accomplisse une tâche, il doit relier en continu les objectifs langagiers, les observations visuelles et les actions physiques. Par exemple, après avoir saisi un objet, il doit déterminer s'il le tient vraiment fermement ; avant d'ouvrir une porte de placard, il doit trouver l'endroit interactif ; si une action n'atteint pas le résultat attendu, le robot doit ajuster son plan en fonction de la nouvelle situation.
Ces actions paraissent différentes, mais elles relèvent des problèmes communs auxquels les robots d'intelligence incarnée doivent faire face lors du passage d'une tâche à une autre : où se trouve l'objectif, quel est l'état actuel, quelle capacité faut-il solliciter, si l'action atteint son but, et comment continuer après un échec.
Autour de ces problèmes communs aux différentes tâches, MagicLab Studio de Magic Atom organise les modèles de vision-langage, les outils de manipulation géométrique et les stratégies d'action générales en un framework VLM Agent unifié, EchoPolicy-0, de sorte que l'observation de l'environnement, la compréhension de l'objectif, la sélection des capacités, l'exécution des actions et la vérification des résultats observés forment une boucle fermée. Les différentes tâches partagent ce mécanisme, les contacts et les mouvements spécifiques étant réalisés par les exécuteurs correspondants.
Le responsable du développement du cadre EchoPolicy-0 a déclaré : « L'universalité d'EchoPolicy-0 se manifeste par le fait que les capacités peuvent être appelées, combinées et validées de manière unifiée. La version actuelle d'EchoPolicy-0 a déjà achevé la validation de quatre types d'opérations sur la plateforme à bras unique Franka. »
Concernant le mode d'utilisation des VLA, MagicLab Studio de Magic Atom introduit une sélection de trajectoires multi-candidates guidée par un objectif VLM : le modèle d'action propose d'abord plusieurs mouvements possibles, les candidates sont projetées dans le plan de l'image, puis la trajectoire la plus adaptée est sélectionnée selon l'objectif spécifié par le VLM, avec une validation continue après l'exécution. La compréhension visuelle de haut niveau participe ainsi à la sélection des actions de bas niveau, au lieu de se limiter à la décomposition des tâches.
Le cadre EchoPolicy-0 a réalisé une évaluation complète de 3915 parties sur les quatre tâches de manipulation de MolmoSpaces, atteignant un taux de succès moyen pondéré également de 75.4 % sur les quatre tâches ; au 13 octobre 2026, il se classe premier du classement combiné mondial MolmoSpaces Combined.
MagicLab Studio de Magic Atom considère les quatre évaluations du cadre EchoPolicy-0 sur MolmoSpaces comme une validation systématique d'un cadre unifié, tout en utilisant les résultats partie par partie pour guider les itérations ultérieures. EchoPolicy-0 démontre une voie systématique vers la manipulation robotique générale : un cadre Agent unifié capable d'organiser différents types de capacités de manipulation, où le VLM Agent organise les objectifs sémantiques et les états des tâches, les outils géométriques fournissent des interactions spatiales vérifiables, la politique d'action générale génère des candidats, la sélection de trajectoires guidée par les objectifs du VLM contraint la direction des actions, et la vérification continue relie le tout.
EchoPolicy-0 répond à une question concernant les scénarios de déploiement des modèles d'intelligence embarquée : comment garantir que, parmi les actions proposées par le modèle, celle choisie est la bonne. Il ne modifie pas les entrées du modèle, mais sélectionne parmi les multiples actions candidates fournies par le modèle celle qui correspond le mieux à l'objectif visuel, puis vérifie en continu après l'exécution. Pour les clients en aval, la valeur de cette approche ne réside pas dans le taux de réussite ponctuel — lorsqu'une nouvelle catégorie de tâches apparaît, il n'est plus nécessaire de construire un système à partir de zéro ; il suffit d'intégrer la capacité dans le même cadre.
Cerveau développé en interne : MagicBrain permet au modèle de « voir », passant de « démonstration utilisable » à une approche de « production utilisable »
Le framework d'agent d'intelligence incarnée MagicBrain provient de MagicLab Studio (魔法原子). Sur les quatre tâches d'opération de MolmoSpaces — saisie, saisie et placement, ouverture et fermeture — MagicBrain a effectué 3915 parties d'évaluation complète, avec une quatrième place mondiale de taux de réussite moyen sur les quatre tâches v1. Parmi celles-ci, il a obtenu la première place mondiale du classement pour les deux tâches Pick-v1 (saisie) et Pick & Place-v1 (saisie et placement), avec un taux de réussite de la tâche de saisie atteignant 94.4 %.
L'architecture Vision-Langage-Action (VLA) est une classe de modèles actuellement très suivie dans le domaine de l'intelligence embarquée, et sa capacité de suivi du langage constitue un problème commun et de longue date dans le secteur. Demander au modèle d'exécuter une instruction telle que « mets la pomme dans le panier » implique deux choses qui ne lui sont pas faciles : d'abord comprendre le nom « pomme », puis identifier au niveau des pixels laquelle est une « pomme ».
MagicLab Studio de Magic Atom a découvert lors de ses tests de R&D que, dans les cas d'échec de préhension, la grande majorité ne résultait pas d'une exécution instable du mouvement, mais d'une erreur dans l'objet saisi ou dans la position où il est déposé. En d'autres termes, les VLA sont déjà suffisamment puissants en matière d'apprentissage des actions ; le véritable point faible réside dans la liaison des syntagmes nominaux aux régions de l'image, qui est aussi l'étape où le signal d'entraînement est le plus épars — vouloir attraper une « pomme » mais saisir la « poire » à côté : l'erreur ne vient pas de la main, mais des yeux.
En réalité, la capacité du VLA à suivre les signaux visuels est plus forte que sa capacité à suivre les instructions en langage : « comprendre les paroles » est le point faible du VLA, tandis que « comprendre les images » est son point fort. C'est pourquoi MagicBrain a adopté une approche technique appelée In-Context Visual Guidance (guidage visuel contextuel) : le VLA se charge uniquement des actions, tandis que la recherche de la cible est confiée à un VLM Agent, plus doué pour l'analyse d'images.
À l'avenir, cette technologie de guidage visuel pourra également être transférée vers d'autres scénarios comme l'interaction — après tout, « dessiner » pour le modèle ce qu'il doit regarder ne s'applique pas seulement à la préhension. MagicBrain offre un paradigme de répartition du travail plus économe en effort. Le langage précise clairement « quoi faire », les pixels précisent clairement « lequel et où », en confiant chaque flux d'information au modèle qui excelle dans son domaine ; il n'introduit pas de nouvelle architecture de modèle, n'empile pas davantage de paramètres, mais réorganise simplement les chemins de transmission de l'information.
« Nous nous basons sur la compréhension du langage par le VLA pour lui permettre en plus de « voir », et de savoir quoi regarder », a déclaré le responsable de MagicLab Studio de Magic Atom, précisant que cette approche technique ne repose pas sur l'augmentation de la taille des paramètres pour améliorer les performances du grand modèle ; le modèle participant à cette évaluation ne compte que 3.4B de paramètres.
Cela signifie que toute équipe disposant de compétences de base en données peut reproduire ces résultats à faible coût et obtenir des gains sans se lancer dans une course à la taille des modèles — sur la voie de la généralisation à grande échelle de l'intelligence embarquée, l'approche de division du travail « combiner plutôt que tout faire » est peut-être plus proche de la réalité que celle d'« un modèle unique qui domine tout ».
Au niveau sectoriel, Magic Atom a répondu à une question très attendue : le VLA est-il réellement abordable et utilisable en pratique. La saisie et le placement sont des actions fondamentales à haute fréquence pour le passage de l'intelligence embarquée du laboratoire aux scénarios réels — le tri en usine, la manutention en entrepôt et le rangement domestique en dépendent tous. Le bond du taux de réussite de préhension de 70% à 94.4% signifie que le VLA passe de « utilisable en démonstration » à l'approche du seuil de « utilisable en ligne de production ». Pour l'industrie, chaque point de taux de réussite gagné élargit les frontières des scénarios commercialisables.
La philosophie de conception du « cerveau incarné » de Magic Atom
« Arrivés premiers au monde sur le classement MolmoSpaces, mais ce qui préoccupe MagicLab, c'est la véritable question qui se cache derrière ce classement : comment le cerveau des robots à intelligence incarnée doit-il se développer, et où doit-il se situer. », a déclaré le responsable de MagicLab Studio de MagicLab.
Magic Atom estime que l'intelligence incarnée doit progresser selon une voie technologique de collaboration hiérarchisée : le modèle de niveau supérieur est chargé de la compréhension, de la planification et de la correction des erreurs, tandis que le modèle de niveau inférieur est chargé de convertir les intentions de tâche en actions physiques fiables.
Le modèle de niveau supérieur doit assurer la compréhension visuelle, la décomposition des tâches, la prise de décision et la planification, la correction des erreurs et la gestion de la mémoire. À l'heure actuelle, les modèles de base de pointe disposent déjà de bonnes fondations dans ces domaines, mais ils doivent encore être adaptés aux relations spatiales, aux contraintes physiques et aux interactions continues propres aux scénarios embarqués. Ce responsable estime qu'à court terme, le secteur devrait se concentrer sur la construction d'un Harness autour du fonctionnement des modèles, en organisant la gestion du contexte, les appels d'outils, les retours d'exécution et les mécanismes d'évaluation, et en explorant une optimisation itérative pilotée par les retours, y compris la voie du RSI ; à long terme, il faudra s'appuyer sur des données de scénarios réels pour mener un entraînement autonome et un post-entraînement, afin de renforcer progressivement la compréhension embarquée et les capacités de décision du modèle lui-même.
Le responsable a indiqué que le modèle sous-jacent chargé de la génération d'actions et de l'exécution du contrôle peut adopter une architecture VLA, WAM ou d'autres architectures hybrides. Le choix de l'architecture doit servir la tâche réelle, en examinant principalement le suivi des instructions, la précision des actions, l'efficacité d'exécution et la capacité de généralisation.
Actuellement, l'architecture hiérarchique elle-même est déjà largement discutée dans le secteur, mais une question clé reste insuffisamment résolue : comment l'intention de tâche de la couche supérieure peut-elle être comprises avec précision et exécutée de manière stable par la couche inférieure.
Magic Atom MagicLab Studio a constaté lors de ses expériences que les modèles d'action existants présentent encore facilement des erreurs de sélection de cible et des biais dans la compréhension des contraintes spatiales dans des scénarios hors distribution (OOD). Pour y remédier, l'équipe a exploré deux approches complémentaires.
La première est EchoPolicy-0, qui a remporté la première place du classement MolmoSpaces, améliorant la cohérence entre l'exécution et les instructions grâce à l'orchestration par Agent, à la sélection de candidats et à la vérification en boucle fermée. Le modèle de couche supérieure décompose la tâche en sous-objectifs explicites, le système évalue plusieurs trajectoires d'actions candidates générées par le modèle sous-jacent et sélectionne le candidat le plus conforme à l'instruction actuelle ; après exécution, le système juge la progression en fonction des nouvelles observations pour décider de continuer, réessayer, replanifier ou revenir en arrière, et fait appel à des outils géométriques selon les besoins pour accomplir des opérations spécifiques.
L'avantage de cette approche technique est qu'elle permet d'itérer rapidement, sans réentraîner le modèle sous-jacent, en améliorant les mécanismes d'orchestration, de sélection et de vérification, afin d'accroître la capacité d'accomplissement des tâches des modèles existants.
L'approche de MagicBrain consiste à améliorer la capacité d'alignement sur les cibles lors de la phase de génération d'actions, grâce à un guidage visuel explicite et à un entraînement associé.
Le mécanisme de guidage visuel entre les couches supérieure et inférieure mérite particulièrement d'être retenu. MagicBrain injecte, sous forme de marqueurs visuels, les cibles d'interaction, les zones de placement et l'historique de mouvement à court terme identifiés par la couche supérieure dans les observations du modèle sous-jacent, permettant ainsi à l'intention de tâche de correspondre directement à des positions concrètes dans l'image. Cette méthode, sans modifier l'architecture du réseau du VLA, repose sur un post-entraînement associé qui apprend au modèle à relier les marqueurs visuels à la sémantique de manipulation et aux comportements d'action, réduisant ainsi l'ambiguïté liée à la seule dépendance aux instructions en langage.
Ces deux approches agissent respectivement sur les deux étapes de « génération d'actions » et d'« exécution, sélection, vérification », présentant une forte complémentarité : le guidage visuel aide la couche inférieure à générer des actions plus conformes aux objectifs, tandis que l'orchestration par Agent est chargée de la sélection, de l'exécution, de la vérification et de la correction des erreurs.
Cette fois, EchoPolicy-0 a remporté la première place et MagicBrain la quatrième : l'efficacité des deux voies a été validée.
En évoquant l'avenir, Magic Atom a déclaré : « À l'étape suivante, nous explorerons davantage la combinaison des deux approches, afin de former une boucle de rétroaction complète allant de la compréhension des tâches à l'exécution physique, et nous entrerons dans des scénarios industriels réels pour tester continuellement le taux de réussite des tâches, la stabilité d'exécution et les coûts de déploiement, tout en perfectionnant au passage notre plateforme de données et de modèles. Nous capitaliserons les capacités validées en modules de compétences réutilisables, en interfaces standard et en solutions, tout en accumulant systématiquement les données de succès, d'échec et de correction humaine, afin d'établir un mécanisme d'itération continue « déploiement—collecte—entraînement—évaluation—redéploiement », transformant l'expérience d'ingénierie en capacités de modèle de base. »