Auteur丨Qi Chengyong
Rédacteur丨Cen Feng
Récemment, le secteur de l'embodiment débat avec engouement de « la possibilité d'un post-entraînement sans embodiment ». À ce jour, aucune équipe en Chine ou à l'étranger n'a proposé de solution viable. En clair, qu'il s'agisse des grands modèles ou des robots embodiment, pour être réellement performants, se reposer uniquement sur le pré-entraînement pour poser les bases ne suffit pas ; c'est le « post-entraînement » qui fait finalement tout. Dong Hao, scientifique en chef de Qiyuan Robotics, a déclaré à AI Technology Review : « Le pré-entraînement élève le plancher, mais le plafond dépend du post-entraînement. » Actuellement, les entreprises d'embodiment visent des déploiements réels comme travailler en usine ou faire le ménage à domicile ; ce qui compte, c'est le taux de réussite, c'est-à-dire la force du post-entraînement. Mais la difficulté du post-entraînement réside dans le fait qu'il doit interagir avec le monde physique réel, ce qui exigeait jusqu'ici des données purement issues de robots réels. Or l'entraînement sur robot réel coûte trop cher : pour un déploiement à grande échelle, avec autant de corps de robots, l'usure du matériel, les locaux et la main-d'œuvre atteignent des prix astronomiques. Ainsi, dans le secteur, le pré-entraînement s'est déjà orienté vers la collecte de données avec des dispositifs « sans embodiment » ; bien que le volume ait augmenté, l'étape la plus cruciale du post-entraînement traditionnel, la « correction d'erreurs », reste insoluble. Pour résoudre ce problème du secteur, l'équipe de Dong Hao de l'Université de Pékin et de Qiyuan Robotics a lancé HIL-UMI. Ce travail s'articule autour de l'hypothèse d'un post-entraînement embodiment sans embodiment, et se concentre sur l'étape la plus cruciale : la « correction d'erreurs ». Adresse de l'article : https://arxiv.org/pdf/2609.20659 Page du projet : https://hil-umi.github.io
01
Le coût du post-entraînement embodiment,
pourquoi dépasse-t-il de loin le RLHF des grands modèles ?
Comparé aux grands modèles, le post-entraînement dans le secteur de l'embodiment est trop coûteux, ce qui est une raison majeure pour laquelle de nombreux modèles d'embodiment ne peuvent tenter le Scaling. Ce qui rend les grands modèles linguistiques si performants, tout le monde le sait : ce n'est pas seulement le volume énorme des données de pré-entraînement, mais surtout le mérite du « post-entraînement » qui suit, avec le RLHF (apprentissage par renforcement à partir de retours humains, que l'on peut simplement assimiler à l'annotation de données) et le DPO. Mais le post-entraînement des robots d'embodiment coûte bien plus de cent fois le RLHF des grands modèles. Pour le RLHF d'un grand modèle, il suffit d'embaucher davantage de personnes assises devant un écran à cliquer et sélectionner ; pour les robots d'embodiment, il faut affronter concrètement le monde physique. Prenons le DAgger, traditionnellement le plus utilisé, un mode de post-entraînement où des humains ou des algorithmes servent d'experts évaluateurs : ce processus est efficace, mais coûteux et lent. La pratique la plus courante est le humain-dans-la-boucle sur robot réel (à savoir HG-DAgger : Human-Gated DAgger) : le bras robotisé fonctionne, l'opérateur humain est assis à côté, extrêmement tendu, à l'affût, prêt à prendre d'urgence le relais lorsqu'il est sur le point de rater une prise ou d'entrer en collision, en enregistrant la trajectoire correcte ; c'est l'humain qui contrôle l'ensemble de la boucle d'entraînement. Le plus pénible, c'est qu'après chaque correction, il faut remettre manuellement en état la scène bouleversée par les contacts. Attendre que le robot exécute, intervenir manuellement, réinitialiser l'environnement : on y passe tout un après-midi pour obtenir peu de données exploitables. La grande majorité de ce temps est gaspillée dans les mouvements maladroits du robot et la remise en état manuelle de l'environnement. Ce mode à la fois lent et ruineux fait de la collecte de données de post-entraînement à grande échelle un problème récurrent, limitant sévèrement le passage à l'échelle. Cela soulève une question centrale : pouvons-nous nous affranchir du robot réel et collecter, comme on fait le ménage au quotidien, les données de « correction d'erreurs » dont le modèle a le plus besoin ?02
La logique sous-jacente de HIL-UMI :
ajouter un « cerveau de modèle » à la collecte UMI
L'approche de HIL-UMI est très astucieuse ; résumée en une phrase : « même sans robot, on peut donner des cours de rattrapage au robot. » HIL-UMI désigne le Human-In-the-Loop (humain dans la boucle) UMI. Contrairement à la collecte de données UMI (pince tenue à la main) couramment utilisée par le passé, la collecte de HIL-UMI n'est pas « aveugle » : elle intègre un modèle. HIL-UMI connecte directement le modèle à ce processus de collecte manuelle : Dans le monde réel, seul l'humain bouge : l'opérateur tient la pince UMI et travaille normalement (par exemple attraper des jouets, plier des serviettes), tandis que la caméra filme simultanément les images. Le modèle « imagine » en arrière-plan : le modèle reçoit les mêmes images et instructions de tâche, et prédit rapidement en arrière-plan « si c'était moi, comment effectuerais-je les 20 prochains pas d'action », mais il ne contrôle réellement aucun bras robotisé. Détection immédiate d'une divergence : le système compare en temps réel en arrière-plan les actions réelles de l'humain avec les actions prédites par le modèle. Si les deux sont proches, cela signifie que le modèle a maîtrisé et qu'il n'est pas nécessaire d'enregistrer à nouveau ; dès que la trajectoire « imaginée » par le modèle s'écarte sérieusement des opérations réelles de l'humain (signifiant que le modèle est un « novice » dans cette scène), le système alerte immédiatement l'opérateur : « Ici, le modèle ne sait pas faire, recommencez une démonstration à partir d'ici ! » Pince tenue à la main et dispositif de collecte : tout le processus ne nécessite ni bras robotisé présent, ni que le robot commette réellement une erreur. Tout en démontrant, l'humain capture de manière ciblée les scènes où le modèle risque fort d'échouer lors du déploiement réel.03
Non pas un simple outil de collecte,
mais un volant de données pour le post-entraînement
Si l'on ne voit dans HIL-UMI qu'un simple enregistreur portatif, on le sous-estime. Sa véritable force est d'avoir mis en place un système en boucle fermée qui permet au modèle de produire lui-même son « cahier d'erreurs ». Cette boucle repose sur deux piliers technologiques :Première étape : détection de divergence d'action (repérer les angles morts). Face à une même situation, l'opération robotique admet souvent plusieurs postures raisonnables. HIL-UMI ne se fie pas à une prédiction unique, mais échantillonne en parallèle plusieurs blocs d'action pour calculer une « distribution d'énergie » (Energy Score). Si le modèle est sûr de lui, la distribution des actions est très resserrée ; dès que les actions produites par le modèle sont dispersées et s'écartent fortement de celles de l'humain, le système juge que le modèle est entré en « état hors distribution (OOD) » et déclenche résolument un enregistrement complémentaire.Deuxième étape : estimateur d'avantage (distinguer les actions utiles des secousses sans signification). Savoir bouger ne suffit pas ; il faut encore savoir si l'action fait progresser la tâche. Dans la tâche d'empilement de cubes, hésiter en tenant le cube en l'air et le poser avec précision sur la base sont deux choses totalement différentes. HIL-UMI introduit un estimateur qui évalue le « degré d'avancement de la tâche » à partir des images avant et après, et adopte un entraînement par « conditionnement d'avantage » — indiquant au modèle non seulement d'apprendre cette correction, mais aussi de choisir spécifiquement les actions qui font réellement progresser la tâche. La véritable boucle fermée réside dans la « mise à jour dynamique » : après chaque cycle d'ajout ciblé de données, le modèle effectue une itération. Au cycle de collecte suivant, le modèle est devenu plus intelligent et les points qui le bloquaient auparavant ne déclenchent plus d'alerte ; à l'inverse, ses points de divergence avec l'humain se déplacent vers des scènes limites plus profondes et plus difficiles. Le modèle expose sans cesse de nouveaux angles morts, l'humain démontre de manière ciblée, le modèle évolue à nouveau ; toute la chaîne s'auto-itérte comme une boule de neige, abandonnant définitivement l'inefficacité du « remplissage aveugle de masses de données positives ».04
Comparaison des voies du post-entraînement sans embodiment
Pour comprendre HIL-UMI de manière plus objective, il faut le comparer aux principales voies actuelles du secteur : Téléopération sur robot réel et DAgger sur robot réel : les données sont les plus fidèles, mais le coût par machine est élevé, la dépréciation importante et le seuil de compétence élevé ; un déploiement à l'échelle de dizaines de milliers d'unités est pratiquement impossible. Simulation (Sim2Real) et apprentissage par renforcement : la puissance de calcul est bon marché et permet de générer massivement des données, mais pour les objets souples (comme les vêtements), la friction et les éclairages complexes, l'écart de simulation (Sim-to-Real Gap) reste un gouffre à ce jour, et cela ne peut pas remplacer le post-entraînement sur robot réel. Pré-entraînement sur des vidéos massives : échelle pratiquement illimitée, mais manque d'informations de mécanique physique et de dimensions d'action précises ; il sert surtout à doter le modèle d'une « perception de bon sens », ne peut se convertir directement en contrôle précis au millimètre, et est généralement utilisé pour le pré-entraînement. UMI traditionnel (collecte positive sans embodiment) : bon marché, accessible à tous, mais ne permet de collecter que des exemples positifs et ne résout pas le problème de la récupération du modèle face aux erreurs de longue traîne ; il ne peut servir que de pré-entraînement. HIL-UMI se situe exactement sur un point optimal : il emprunte le faible coût et la facilité de mise à l'échelle de l'UMI, ainsi que la capacité de correction ciblée du DAgger, tout en éliminant les défauts des deux.05
Une efficacité multipliée par 5.63,
le post-entraînement n'a enfin plus besoin de tourner autour du bras robotisé
Pour savoir si les comptes tiennent en ingénierie, deux comparaisons suffisent : Rattrapage ciblé vs apprentissage aveugle supplémentaire : lors de tests de quatre tâches sur de vrais bras robotisés (plier des serviettes, ranger un bureau, empiler des cubes, tamponner), avec le même budget de trames de données, le fine-tuning SFT classique augmentant continuellement les démonstrations ordinaires ne fait grimper la note moyenne de progression de tâche (TPS) que de 44.3 à 58.0 au rythme d'un escargot ; tandis qu'avec le mécanisme de correction ciblée de HIL-UMI, la moyenne a directement atteint 94.8. Sur les tâches d'empilement de cubes et de tamponnage, les plus exigeantes en précision, le taux de réussite a atteint 100 points. Efficacité de collecte multipliée par 5.63 : on voit que l'axe horizontal va du modèle initial Base aux trois cycles de mise à jour Iter1—Iter3, et l'axe vertical représente le score de progression de tâche. En violet, le SFT ; en orange, HIL-UMI sans le mécanisme d'avantage ; en vert, le HIL-UMI complet ; à l'extrême droite, la moyenne des quatre tâches. Pour la tâche longue et extrêmement complexe de « ranger un bureau », la collecte HG-DAgger sur robot réel prend 412.99 millisecondes par trame de données utile, alors que HIL-UMI n'en exige que 73.40, soit une efficacité de collecte par unité de temps multipliée par 5.63 ; après tout, collecter directement à la main est bien plus pratique que de télécommander un robot. (Leifeng Wang) Graphique de gauche : moyenne des quatre tâches en fonction du temps de collecte cumulé ; graphique de droite : performance de chaque méthode selon la phase d'entraînement pour la tâche de ranger un bureau. Ces plus de 5 fois de temps économisés représentent toutes les « pertes improductives » d'antan : mouvements lents du bras robotisé, attente de l'opérateur et remise en état manuelle de la scène. À notre avis, l'imagination commerciale la plus importante réside dans ceci : la téléopération sur robot réel exige un savoir-faire très élevé de l'opérateur, le moindre tremblement produisant des données de mauvaise qualité ; tandis que la pince tenue à la main, « l'humain sait naturellement s'en servir, et la qualité des trajectoires est excellente ». Cela signifie que le post-entraînement devient pour la première fois « distribuable ». À l'avenir, il sera peut-être possible, dans des logements ordinaires partout dans le pays, que des employés à temps partiel effectuent des gestes du quotidien avec un équipement simple de quelques centaines de yuans, tout en étant connectés au même grand modèle cloud ; dès que le modèle détecte une divergence d'action chez quelqu'un, il capture silencieusement ce petit segment de données différentielles de haute qualité et le renvoie. Le post-entraînement d'embodiment n'a enfin plus besoin que tout le monde soit en laboratoire, avec des bras robotisés.06
« Le développement futur du post-entraînement,
se jouera sur la vitesse et l'efficacité »
Lors de l'entretien, Dong Hao, scientifique en chef de Qiyuan Robotics, a formulé un jugement très à contre-courant du consensus :À son avis, c'est comme à l'époque où DeepMind développait AlphaGo : au début, un apprentissage par imitation à partir de parties enregistrées (pré-entraînement), mais ce qui l'a véritablement rendu légendaire, c'est la phase de post-entraînement d'apprentissage par renforcement à grande échelle où il jouait contre lui-même. Il en va de même aujourd'hui pour les grands modèles de robotique : le pré-entraînement résout la construction d'une vision du monde initiale, avec un chemin relativement clair ; mais pour l'avenir, celui qui atteindra réellement la généralisation et un taux de réussite extrême se jouera entièrement sur « un post-entraînement évolutif ». Si ces deux dernières années, l'intelligence embarquée a consisté à s'affronter pour savoir qui allumerait en premier les robots grâce aux grands modèles, la compétition de la seconde mi-temps, elle, se jouera sur qui pourra construire, au coût marginal le plus bas et le plus rapidement, un réseau de correction d'erreurs pour les robots. Au moment où les modèles embarqués passent du stade de « démo fonctionnelle » à celui de « présence dans des millions de foyers », quels calculs l'industrie est-elle en train de faire ? Comment évolueront la prochaine génération de modèles de base et les systèmes de post-entraînement ? Prochainement, nous proposerons également une interview exclusive de Dong Hao, professeur associé à l'Université de Pékin et scientifique en chef de Qiyuan Robotics, pour parler de la fusion et de la complémentarité entre le monde académique et l'industrie de l'intelligence embarquée, restez à l'écoute. (Leiphone (compte officiel : Leiphone))« Le pré-entraînement et le post-entraînement ne sont pas une simple relation de proportion ; ils constituent un remplacement par phases. »
Montez à bord, et partez à la découverte des meilleurs moments des grandes conférences mondiales sur l'IA
Accès exclusif à :
Présentations PPT d'experts
Intégralité des rapports des conférences
Analyses des articles populaires
Interviews de jeunes étoiles montantes de la recherche
Scannez le QR code ci-dessus
ou cliquez sur « Lire l'article original » pour suivre la rubrique dédiée.
Article original de Leiphone, reproduction interdite sans autorisation. Voir les détails dansles règles de republication。