Par Hengyu, depuis Fanfisi
QbitAI | Compte public QbitAI
Comme les petits crochets sur l'étagère étaient partiellement cachés par les étiquettes de prix, le robot venu travailler dans la supérette a raté sa première tentative de suspendre la marchandise… dans le vide.
Autrefois, à ce moment-là, un ingénieur humain aurait dû intervenir : d'abord diagnostiquer le problème, puis ajuster le programme, compléter les données, et faire répéter l'exercice au robot.
Mais ce robot est un peu différent.Il a trouvé tout seul une nouvelle méthode.
En revoyant ses enregistrements d'exécution précédents, il a constaté que la résolution du champ de vision de la caméra frontale était insuffisante et que, combinée à l'obstruction des étiquettes, il était difficile de voir clairement la position des petits crochets.
L'Agent a donc ajusté sa stratégie : faire d'abord approcher la main gauche de la cible, utiliser la caméra du poignet pour compléter avec une vue de près, confirmer la position, puis laisser la main droite suspendre la marchandise.
Mieux encore : non seulement le robot a, comme décrit, découvert lui-même l'origine du problème et trouvé la solution,mais il a aussi discrètement accumulé cette expérience efficace pour la garder en réserve en cas de besoin.
Ce mécanisme permettant au robot de détecter les problèmes au travail, d'ajuster sa stratégie et d'accumuler de l'expérience repose surGenie Master, le framework Agent embodiedrécemment publié par Zhiyuan (Agibot).
C'est également la quatrième salve de la série de publications techniques « AI WAVE » lancée récemment par Zhiyuan — cette fois, Zhiyuan a fait entrer pour la première fois dans l'industrie le Physical RSI (auto-évolution récursive embodied) dans le flux opérationnel réel d'une supérette.
Avec le soutien de Genie Master, les robots Zhiyuan Jingling G2, lors de l'exécution de tâches dans un environnement réel de supérette, sont désormais capables, sans dépendre de démonstrations ni de réglages humains, d'analyser de façon autonome les causes d'échec, d'ajuster leur stratégie et de capitaliser leur expérience,réalisant ainsiune auto-amélioration continue « sans humain dans la boucle ».
C'est la première fois dans le secteur que l'on sort des environnements de simulation et des configurations de laboratoire (toy setting) pour faire fonctionner et valider le Physical RSIdans des scénarios opérationnels réels.
Comment fonctionne concrètement cette boucle fermée d'auto-évolution de Genie Master ? Et quels changements révolutionnaires peut-elle apporter au déploiement massif des robots ?
Qu'est-ce que Genie Master ?
Pour comprendre pourquoi ce robot peut « s'éveiller par lui-même », il faut d'abord voir ce qu'est réellement Genie Master, qui se cache derrière lui.
En termes simples, Genie Master estun framework Agent embodieddont la mission centrale est de relier les capacités de raisonnement de l'Agent de haut niveau aux capacités d'exécution d'actions du robot sous-jacent.
Il permet non seulement à l'Agent d'appeler facilement les diverses capacités du robot et de comprendre les retours physiques réels de l'exécution, mais aussi d'organiser en continu les actions et les exercices ciblés selon l'avancement de la tâche.
Dès qu'un robot révèle une lacune de capacité dans son travail réel, ce problème entre directement dans le processus d'amélioration autonome.
On voit clairement que Genie Master cherche avant tout à construireun mécanisme d'amélioration continue après le déploiement des robots—— Cela implique à la fois le jugement et l'ajustement dynamique au moment de l'exécution de la tâche, ainsi que la capitalisation de l'expérience a posteriori et la mise à jour des stratégies d'actions sous-jacentes.
Si Zhiyuan a proposé ce cadre, c'est parce qu'il a constaté les points douloureux de mise en œuvre qui persistent depuis longtemps dans le secteur.
Les professionnels le savent : une fois les robots entrés dans de véritables scénarios commerciaux, ils sont inévitablement confrontés à des situations de longue traîne non couvertes lors de la phase d'entraînement.
Un échec d'exécution, une instabilité des mouvements, ou une tâche prenant trop de temps peuvent nécessiter l'intervention d'ingénieurs pour le dépannage, puis une amélioration des performances par l'ajustement des programmes, l'ajout de données de démonstration ou l'entraînement du modèle.
Plus les scénarios sont nombreux et les tâches complexes, plus la charge de travail de développement et de maintenance augmente en conséquence.
Si chaque nouveau besoin doit attendre un dépannage et un débogage manuels depuis le début, la vitesse d'itération se trouve limitée, et il devient encore plus difficile de déployer massivement la solution à travers différents scénarios.
En un mot,pour que l'intelligence incarnée puisse réellement être utilisée à grande échelle, il faut passer d'un« réglage fin passif » dépendant de démonstrations humaines à un « mode d'auto-évolution » où le robot découvre et résout lui-même les problèmes.
Genie Master souhaite confier une partie de ce travail à un Agent.
En confiant à l'Agent le diagnostic des problèmes, l'organisation des exercices et l'évaluation des résultats, Genie Master permet au robot d'acquérir de nouvelles capacités de manière autonome, réduisant ainsiconsidérablement le cycle de développement entre« la demande d'un nouveau besoin par le client » et « la maîtrise de cette nouvelle compétence par le robot ».
Outre le réapprovisionnement des crochets mentionné au début, lors des tests en conditions réelles en supérette, les robots équipés de Genie Master ont également fait preuve de capacités supplémentaires pour faire face à des situations complexes.
Selon Zhiyuan, l'équipe de Genie Master a intégré le prélèvement, le réapprovisionnement, le nettoyage, la récupération après anomalie et la collaboration multi-robots dans un flux de travail unifié, explorant ainsi une boucle d'amélioration continue des robots dans des activités réelles.
S'entraîner tout seul pendant les temps morts : le cadre d'Agent incarné relie le cerveau et le cervelet
Faire évoluer les robots eux-mêmes au travail : l'idée n'est pas difficile à concevoir.
Mais avant cela, pourquoi cette question n'est-elle restée qu'un sujet de discussion en laboratoire, avec presque personne ne l'ayant réellement mise en œuvre dans des activités concrètes ?
La raison en est que, qu'il s'agisse de la consolidation de l'expérience au niveau supérieur ou de l'internalisation des stratégies au niveau inférieur, tout doit reposer sur une base extrêmement exigeante —
le raisonnement de haut niveauLes directives du « cerveau » doivent pouvoir se traduire précisément en actions ; les résultats de l'« enzym » chargée de l'exécution au niveau inférieur doivent également pouvoir être renvoyés en temps réel au cerveau.
Pour relier ces deux points vitaux, Genie Master a conçu l'un de ses éléments clés :
le protocole d'exécution incarnéeEEP (Embodied Execution Protocol).
L'EEP établit une interface unifiée entre l'Agent et le monde physique, couvrant principalement quatre catégories d'interfaces centrales :
- l'interface de capacités: elle permet à l'Agent de savoir clairement quelles capacités du robot peuvent être appelées actuellement ;
- l'interface de guidage: elle permet à l'Agent de transmettre à l'exécuteur d'actions sous-jacent des indications spatiales concrètes, des références d'objets et des exigences linguistiques fines ;
- l'interface de retour : elle permet à l'Agent de connaître en temps réel la situation physique réelle après l'exécution des actions par le robot ;
- l'interface de continuité : elle permet au système de suivre en continu la progression des tâches et les interdépendances de répartition au sein du parc de robots, en prenant en charge la planification dynamique ainsi que la reprise des tâches après interruption.
Grâce au protocole EEP, associé à des conceptions collaboratives telles que l'alignement temporel (Temporal Alignment), l'Agent de haut niveau peut ajuster dynamiquement son guidage à tout moment en fonction des résultats d'exécution, tandis que la stratégie d'action (Action Policy) de la base sous-jacente peut exécuter précisément les actions en combinant les observations actuelles et les exigences de l'Agent, et renvoyer en temps réel les observations et l'état des sous-tâches.
Dans un système d'intelligence incarnée, ce n'est que lorsque le raisonnement, l'exécution et le retour sont véritablement étroitement liés que l'auto-évolution ne relève plus de l'utopie.。
L'EEP joue précisément le rôle d'interface clé dans cette chaîne d'interaction, posant les fondations de l'accumulation ultérieure d'expérience et de la mise à jour des stratégies.
Une fois les fondations solidifiées, la « sur-compétition » quotidienne des robots en mode déploiement commence.
Dans le flux de travail normal du magasin de proximité, lorsque le robot constate que certaines tâches échouent de façon répétée, s'exécutent de manière instable ou prennent trop de temps — c'est-à-dire lorsqu'un « déficit de capacités » se manifeste —, l'Agent ne reste pas les bras croisés.
Il utilise activement les temps morts du magasin pour organiser des « entraînements supplémentaires autonomes » ciblant ces points faibles.
Ce qu'il faut entraîner, comment s'entraîner, si les résultats après l'entraînement sont conformes, comment récupérer et réessayer en cas d'anomalie : tout est orchestré par l'Agent. L'environnement de déploiement réel fournit ainsi continuellement aux robots des éléments concrets sur « ce qu'il faut entraîner ensuite, ce qu'il faut corriger ».
Une voie pour accumuler l'expérience, une voie pour mettre à jour la stratégie d'action
Puisque « l'identification des problèmes » et « l'entraînement supplémentaire autonome » ont déjà été orchestrés dans des scénarios réels, comment les robots transforment-ils les acquis de l'entraînement en compétences qui leur appartiennent réellement ?
Ici, Genie Master adopte une stratégie « à double voie ».
Une voie s'appelleHarness RSI, chargée d'accumuler l'expérience ; l'autre s'appellePolicy RSI, chargée de mettre à jour la stratégie d'action.
Commençons parHarness RSI。
Sa logique centrale consiste, tout en maintenant inchangés les poids du modèle et les interfaces d'outils existantes, à améliorer les performances des tâches suivantes principalement par l'optimisation des prompts, de la mémoire (Memory) et des règles d'exécution.
Au cours de l'exécution du raisonnement quotidien, le robot « note au fil de l'eau » les exemples de succès et d'échecs ; ensuite, grâce à une réflexion asynchrone quotidienne et à une consolidation de la mémoire, il transforme ces enregistrements d'exécution en guides plus efficaces, en critères d'achèvement, en règles de récupération des anomalies et en règles de collaboration, les intégrant dans la mémoire à long terme comme on tient un « cahier d'erreurs », puis les charge progressivement selon les besoins des tâches et des scénarios ultérieurs.
En revenant sur le cas de « l'accrochage de marchandises dans une supérette » mentionné au début de l'article, on voit que c'est en réalité le Harness RSI qui agit.
Au début, le taux de réussite de cette petite tâche d'accrochage était très faible. Mais l'Agent, après avoir examiné les enregistrements d'échecs, a diagnostiqué la racine du problème : « la résolution insuffisante de la caméra frontale, combinée à l'occlusion par les étiquettes, empêchait le robot d'identifier avec précision la position des petits crochets ».
L'Agent a donc inscrit dans son expérience exécutable la nouvelle solution consistant à « d'abord approcher la caméra du poignet gauche pour compléter le champ de vision, puis, une fois la confirmation faite, accrocher la marchandise avec la main droite ». Lors de situations similaires ultérieures, il peut directement mobiliser cette expérience et réagir avec sang-froid.
Au-delà du « cahier d'erreurs », pour répondre aux exigences strictes de faible latence et de haute stabilité imposées par le déploiement sur de vrais robots, certaines capacités doivent devenir la « mémoire musculaire » du robot.
C'est alors qu'intervientPolicy RSI.
Policy RSI collecte et organise toutes les données générées par le robot lors de l'exécution autonome, des démonstrations avec prise de contrôle humaine et de la récupération d'anomalies, améliore la qualité des données par filtrage, pondération et re-étiquetage des objectifs, puis utilise l'apprentissage supervisé, l'apprentissage par imitation ou l'apprentissage par renforcement pour mettre à jour directement le modèle sous-jacent de politique d'action (Action Policy), afin que les améliorations soient réellement conservées dans les paramètres du modèle.
Supposons qu'un robot effectue en magasin la tâche de « emballage des plats à emporter sans enchevêtrement » : les données générées lors du traitement des sangles emmêlées, des manœuvres de retrait et de la récupération d'anomalies, après filtrage et traitement, peuvent être utilisées pour l'entraînement ultérieur de la politique d'action, aidant le modèle à améliorer ses performances sur des tâches similaires.
Grâce au Policy RSI, le robot peut tirer parti de chaque expérience d'exécution réelle pour acquérir une capacité d'exécution plus stable et un suivi des instructions plus précis.
Il convient de préciser que cela ne signifie pas que la participation humaine devient complètement inutile : le Policy RSI continue d'utiliser des données telles que les démonstrations par prise de contrôle manuelle, et la mise à jour de la politique d'action nécessite également un traitement des données et un entraînement du modèle.
Plus remarquable encore,ces deux voies ne fonctionnent pas chacune de leur côté, mais s'engrènent mutuellement pour former une roue qui tourne de plus en plus vite——
le Harness RSI est chargé d'accumuler et d'organiser l'expérience, aidant le système à analyser les causes des échecs, à choisir les modalités d'entraînement et à améliorer les exécutions ultérieures ;
le Policy RSI, quant à lui, utilise les données d'exécution traitées pour l'entraînement de la politique d'action, permettant aux expériences efficaces de se transformer en capacités motrices plus stables.
Les deux voies se renforcent mutuellement, formant une boucle fermée allant de l'exécution réelle des tâches à la détection des lacunes de compétences, puis à l'entraînement autonome, jusqu'à la capitalisation de l'expérience et la mise à jour des stratégies. Zhiyuan espère ainsi que chaque cycle d'expérience accumulée aidera le système à diagnostiquer plus efficacement les problèmes, à choisir les entraînements et à exploiter les données.
faire évoluer continuellement la capacité à s'améliorer，obtenir un gain de compétences plus important à investissement égalc'est là toute la puissance véritable de « l'auto-évolution récursive (RSI) ».
Du « figé dès la sortie d'usine » au « de plus en plus performant avec l'expérience »
En sortant du cadre de la supérette et en adoptant la perspective de l'ensemble de l'industrie de l'intelligence incarnée, la direction explorée par le Genie Master de Zhiyuan est en train d'ouvrir une nouvelle porte.
Tout d'abord, en matière d'efficacité de R&D,il brise complètement le carcan selon lequel les capacités des robots étaient « figées dès la sortie d'usine », en les faisant passer à un nouveau paradigme de « croissance continue pendant le déploiement ».
Lorsqu'une nouvelle solution d'IA peut elle-même se transformer en nouvelle compétence du robot sur le terrain, le délai de livraison entre la formulation d'un nouveau besoin par le client et la maîtrise de la nouvelle compétence par le robot sera considérablement raccourci.
Ensuite, en matière de commercialisation,les comptes économiques deviennent eux aussi clairement rentables.
Quand un robot devient « de plus en plus performant avec l'expérience » dans des tâches réelles, le même ensemble de capacités s'étoffe continuellement au fil des déploiements.
À l'avenir, lors de la réplication vers davantage de magasins et davantage de scénarios intersectoriels, les coûts marginaux des déploiements et de la R&D continueront de baisser.
Or cette courbe de coûts en baisse constante constitue précisément le prérequis fondamental pour que l'intelligence incarnée se commercialise à grande échelle.
En revenant sur la série de lancements « AI WAVE » lancée par Zhiyuan à partir du 22 octobre, le Genie Master, en tant que quatrième volet de cette série, joue un rôle clé de pivot dans l'architecture globale de l'IA incarnée full-stack de Zhiyuan — il étend et enracine les modèles de base sous-jacents et les capacités d'IA full-stack dans des déploiements commerciaux réels.
Bien entendu, aussi brillante que soit l'architecture technique, c'est finalement la performance sur le terrain qui fait foi.
Comme le dit le proverbe : qu'il s'agisse d'un mulet ou d'un cheval, il faut le sortir pour le voir à l'œuvre.
Le 2 novembre,Zhiyuan prévoit de lancer un « direct de 24 heures depuis la supérette » observé par tout le web.
À cette occasion, 6 robots Genie G2 seront en poste en continu, dans l'exploitation réelle et sans scénario d'une supérette, où ils devront passer une sévère épreuve de titularisation.