Une paire de mains dextres capables de faire tourner des noix de walnuthuan et de préparer des glaces, c'est déjà suffisant pour marquer les espritsSharpa：
Cette startup d'intelligence incarnée fondée par l'équipe créatrice de Hesai Technology a, ces derniers temps, pour étiquette la plus marquante sa main dextre tactile à haut degré de liberté.
AuIROSqui se déroule en ce moment, Sharpa a franchi une nouvelle étape avec son premierrobot humanoïde universel entièrement développé en interne, le D01, qui arrive :
Ainsi qu'une nouvelle génération de main dextre, la W02 :
et un gant de capture de données exosquelette, l'AE01 :
Main, corps, porte d'entrée des données : le tout exposé d'un coup sur le stand.
Pourquoi Sharpa se met-elle à construire le corps du robot, allant jusqu'à créer également la porte d'entrée des données sur « comment apprendre à manipuler » ?
En regardant ces trois produits ensemble, la réponse renvoie en réalité à la question que presque tous les acteurs du secteur de l'intelligence incarnée débattent actuellement :
Que faut-il exactement pour qu'un robot sorte des salons et des démos scéniques et génère une véritable valeur commerciale ?
Les trois produits sur place à l'IROS, quels sont-ils
Commençons par le D01, que Sharpa décrit comme un robot de manipulation dextre à perception tactile intégrée.
Les chiffres les plus notables de ce robot tournent tous autour de la manipulation dextre : ratio charge utile/poids propre du bras proche de 1:1, vitesse maximale de l'effecteur terminal supérieure à 10.5 m/s, fréquence de communication atteignant 1000 Hz, précision de répétabilité de 0.2 mm, et articulation de poignet sphérique conçue à l'échelle humaine en 1:1.
Parmi celles-ci, le « mouvement à haute vitesse » signifie que le robot peut accomplir rapidement des tâches dynamiques comme la réception d'un relais ou la manipulation d'outils :
la « capacité de charge élevée » permet au bras de conserver une marge de manœuvre suffisante pendant le mouvement ; la précision de répétabilité de 0.2 mm, elle, pousse encore la capacité vers la manipulation fine.
Face à des tâches complexes, vitesse, force et précision existent rarement séparément, et c'est précisément là que se situe l'axe de conception du D01.
Encore plus singulier : le toucher。
Le D01 est couvert d'une peau électronique sur tout le corps, avec une couverture tactile du haut du corps, une fréquence d'échantillonnage tactile de 100 Hz, une plage de perception de force de 0.1 à 20 N et une résolution de force de 0.2 N. Le robot peut ainsi percevoir directement les effleurements, les collisions et les forces extérieures.
La raison de cette insistance de Sharpa sur le « toucher » devient plus évidente lorsqu'on replace les choses dans le contexte d'un robot humanoïde entrant réellement dans un espace de travail — c'est-à-dire un environnement de manipulation dextre：
La vision peut dire à l'avance au robot « il y a quelque chose devant », mais une fois le contact établi, le robot doit encore savoir « où il a été touché, avec quelle force, et si le contact a changé ».
Par exemple, pour attraper un objet tombant à grande vitesse, le robot doit ajuster l'état de ses bras et de ses doigts en un temps très court ; ou encore, si une personne travaillant à côté touche le bras du robot, celui-ci doit déterminer d'où vient cette force extérieure et s'il doit modifier sa trajectoire actuelle. Pour ces événements physiques instantanés, la vision seule peine à fournir une information complète.
Le corps humain fait en réalité cela en permanence. Quand les doigts sentent un objet glisser, ils augmentent inconsciemment la force de préhension ; quand le bras touche une table, il modifie le mouvement suivant ; quand le corps subit une force extérieure, il ajuste immédiatement sa posture.
Une grande partie des mouvements ne nécessite pas d'être d'abord orchestrée en une « chaîne de pensée » textuelle guidant l'exécution : le corps lui-même fournit un retour en temps réel. En étendant la peau électronique du D01 aux bras et à la poitrine, ce type de « retour corporel » est intégré au système de perception du robot.
La couverture tactile complète des zones d'interaction principales du D01 change le rôle du corps du robot dans le système de contrôle : d'un simple détecteur d'anomalies ou enregistreur a posteriori, il devient une dimension supérieure, partie intégrante de l'ajustement des mouvements.
Regardons à nouveauW02, « une main dextre nouvelle génération, entièrement tactile, ultra-compacte et légère », où apparaît un changement un peu surprenant :la génération précédente W01 avait 22 degrés de liberté actifs, tandis que W02 les réduit à 21。
Ce qui a été supprimé, c'est un degré de liberté de l'articulation CMC à la base de l'auriculaire.
Selon l'étude d'application menée par Sharpa, ce degré de liberté est peu utilisé dans les saisies courantes et les manipulations dans la main, et contribue peu aux tâches ; W02 a donc simplifié la structure correspondante, réduisant ainsi la complexité mécanique et les points de défaillance potentiels.
C'est également l'un des aspects les plus intéressants à observer chez W02 :continuer à accroître les capacités d'une main dextre ne signifie pas nécessairement que le nombre de degrés de liberté doit augmenter sans cesse。
Par ailleurs, W02 intègre 21 degrés de liberté actifs dans une structure plus compacte : la taille globale de la main est réduite d'environ 30 % par rapport à la W01, et le poids diminue encore. Cela entraîne directement deux changements : une baisse de la charge sur l'avant-bras, et une intégration plus facile dans des espaces de travail conçus aux dimensions de la main humaine.
Plus petite et plus légère, la main permet aussi d'accomplir certaines tâches difficiles à réaliser auparavant.
Par exemple, le W02 réalise un « rayon de préhension zéro », permettant de manipuler plus stablement des objets de petit diamètre tels que des baguettes ou des fils fins. Le bout des doigts est équipé de capteurs visuo-tactiles à haute résolution, avec une plage de perception de force de 5 mN à 30 N et une résolution spatiale de 1 mm ; les autres zones de la paume sont quant à elles recouvertes de peau électronique, avec une plage de perception de force de 0,1 à 20 N et une résolution spatiale de 5 mm.
Autrement dit, la couverture tactile du W02 s'est étendue de « quelques bouts de doigts » à la main entière : le robot peut désormais obtenir simultanément des informations de contact provenant des bouts des doigts, des doigts et de la paume, ce qui est particulièrement important pour les petits objets et la manipulation continue dans la main.
Il est à noter ici que Sharpa a placé « la miniaturisation » et « la couverture tactile » dans une même contrainte d'ingénierie : une main doit à la fois tenir dans un espace de travail humain et conserver une perception du contact suffisante.
Enfin, il y aAE01, c'est un « gant de données tactiles exosquelette haute fidélité », principalement utilisé pour la téléopération de précision et la collecte de données en première vue。
L'AE01 capture avec précision les mouvements naturels de la main de l'opérateur grâce à 22 encodeurs et les mappe en temps réel sur le robot, permettant une téléopération hautement fidèle, plus naturelle et plus réactive.
La clé réside dans le « retour d'information » : lorsqu'une personne manipule un objet, ses yeux perçoivent la position et la forme, tandis que ses doigts ressentent la force, le contact et le glissement. AE01 permet au robot de renvoyer ces informations à l'être humain, et l'opérateur peut ainsi ajuster ses gestes en fonction du retour tactile.
Parallèlement, les mouvements naturels de la main humaine peuvent être capturés en temps réel par le robot.
Ainsi, la valeur de l'AE01 réside principalement dans le fait de « transformer l'expérience opérationnelle humaine en données utilisables par le robot » : les trajectoires de mouvements humains, les retours de contact côté robot ainsi que la correspondance entre les deux sont intégrés dans un même processus de collecte.
Qu'a-t-elle de si particulier, la pile complète de manipulation dextre de Sharpa ?
Si l'on examine les trois produits à travers des problèmes techniques concrets, ce qui est intéressant dans les trois produits de Sharpa présentés à l'IROS, c'est la tentative de faire passer la « manipulation dextre » de quelques capacités matérielles isolées à un ensemble construit autour dePerception tactile, contrôle en boucle fermée et apprentissage des donnéesle système technique mis en place.
Mais pour comprendre cet ensemble technologique, il faut partir de la question « quand un robot a-t-il besoin du sens du toucher » et la décomposer.
Ce que les stratégies visuelles traditionnelles font le mieux, c'est la phase précédant le contact : identifier les objets, estimer leur position, planifier une trajectoire du bras, puis tendre la main vers l'objet. Le problème apparaît précisément dans les derniers centimètres, voire les derniers millimètres.
Par exemple, lors de l'insertion, du vissage, de l'alignement ou de la saisie d'objets souples, les variables qui déterminent si la tâche peut être accomplie se cachent souvent après le contact : l'objet s'est-il déplacé, a-t-il glissé, la pression est-elle trop forte, le point de contact a-t-il changé. La vision peut voir une partie du résultat, mais il est difficile d'observer de manière stable ces états physiques instantanés.
Le modèle CraftNet de Sharpa aborde cette question de manière très claire : le System 2 est chargé de la compréhension des tâches et de la planification à long terme, le System 1 s'occupe de la planification des mouvements avant le contact, tandis que le System 0 entre en scène pendant la phase de contact, traitant à une fréquence plus élevée les retours tactiles et les mouvements fins. Le System 0 n'exécute pas seulement les mouvements fins, il renvoie également les informations d'état au System 1, permettant ainsi aux actions de niveau supérieur de se réajuster en cas d'échec d'exécution ou de changement de l'état physique.
Cela signifieLe rôle du toucher ici est en réalité de modifier l'échelle de temps de la boucle de contrôle.。
Avant le contact, le robot peut réfléchir avec un modèle plus lent : « que dois-je saisir, par où m'approcher » ; après le contact, ce dont on a besoin, c'est de « est-ce que ça glisse en ce moment, faut-il serrer un peu plus, de quel côté déplacer un peu les doigts ». Cette dernière exigence demande au système de contrôle de fonctionner à une fréquence plus élevée.
Mais en poursuivant un pas plus loin, la question devient : comment un robot peut-il mémoriser une expérience de contact ?
C'est aussi ce qui rend la dernière recherche WM-Craftnet de Sharpa plus digne d'attention qu'une simple « fusion vision + toucher ».
Contrairement aux approches précédentes qui se contentaient de concaténer simplement la carte de profondeur, le tactile et l'état des articulations pour les fournir à la politique, la nouvelle recherche entraîne un World Synesthesia Model, c'est-à-dire un modèle du monde doté d'une mémoire temporelle.
Les entrées comprennent la profondeur du poignet, le toucher, la proprioception et les actions exécutées précédemment ; un modèle d'espace d'états récurrent de type Dreamer compresse ces informations en un état latent évoluant dans le temps. Cet état sert ensuite de contexte à la politique, afin de déterminer la géométrie actuelle de l'objet, ses contacts et son état de mouvement.
Le modèle apprend non seulement « ce qui est rencontré maintenant », mais doit aussi combiner ce qui s'est passé dans le passé pour déduire « pourquoi la situation en est arrivée là ».
Le sens de cette étape réside justement dansUn pas de plus à partir du « contrôle par participation tactile » : le robot commence à tenter de former une représentation interne de l'état de contact.。
Revenons à la question initiale : pourquoi Sharpa s'est-il toujours « obstiné » à placer le toucher au cœur de la manipulation dextre ?
Le capteur fournit des signaux de contact bruts, le système de contrôle est chargé de réagir à l'échelle de la milliseconde à la centaine de millisecondes, et le modèle du monde tente d'organiser ces événements instantanés en « états physiques » que le robot peut exploiter en continu —
C'est précisément là le cœur de la manipulation dextère, ce qui la distingue de l'exécution de trajectoires par un simple bras robotisé.
AE01, quant à lui, vient compléter la dernière pièce du puzzle côté données.
La téléopération traditionnelle enregistre principalement les trajectoires de mouvement humaines, mais peine à préserver intégralement l'expérience physique acquise lors du processus de contact.
AE01 capture les mouvements naturels de la main via des encodeurs, tout en renvoyant à l'opérateur l'état tactile du côté du robot, formant ainsi une interface bidirectionnelle : les gestes de l'humain entrent dans le robot, et l'état du robot après contact avec les objets influence à son tour les prochaines actions de l'humain.
Ainsi, les données laissées par une opération manuelle ne se limitent plus à « où la main s'est déplacée », mais incluent également le moment du contact, les variations de force, l'état de glissement et les mouvements correctifs qui suivent. Le contrôle précis, l'acquisition tactile synchronisée et l'absence de calibration réduisent les barrières du mapping homme-machine et de la synchronisation des données multimodales.
Les nouveaux progrès présentés à l'IROS se résument donc en une phrase :
Sharpa tente de résoudre un problème bien concret de l'intelligence incarnée : les données de manipulation de haute qualité sont difficiles à obtenir, alors que les données ayant une réelle valeur se produisent précisément dans les instants où le contact est le plus complexe.。
Sous cet angle, aucune des composantes de la capacité « full stack » de manipulation dextre de Sharpa n'est superflue : le corps du robot amène la machine dans l'espace de travail réel, la main dextre gère le contact à fine granularité entre l'humain et les objets, et le point d'entrée des données préserve l'expérience opérationnelle humaine ainsi que le retour physique du robot.
Enfin, le modèle réutilise ces informations pour transformer chaque opération en capacité pour le tour suivant.
Le champion de la manipulation dextre
La main est d'abord l'organe le plus fiable de l'être humain pour accomplir toutes sortes de tâches complexes.
C'est aussi le médium le plus direct pour l'interaction physique fine entre les robots et le monde réel.
Il n'est donc pas surprenant que, depuis le W01, Sharpa se concentre depuis longtemps sur les hauts degrés de liberté, le toucher et la manipulation fine.
Sa démonstration au CES en début d'année a fait sensation :Sharpa a présenté à l'industrie une Live Demo de manipulation dextre de niveau plafond.
Mais une fois que la main dextre atteint un certain niveau, le problème s'étend naturellement vers les deux extrémités du corps : quel support physique cette main nécessite-t-elle pour pénétrer dans divers environnements de travail ? Et quelles données faut-il pour que le robot puisse extrapoler et réaliser la « généralisation commerciale » dans différents scénarios de tâches ?
Les problèmes incluent la précision de contrôle à haute vitesse, la perception des contacts réels, la manipulation d'outils humains, ainsi que la capacité à traiter des objets complexes comme les feuilles minces, les objets souples et les liquides, tout en assurant la coopération du corps, du poignet, des doigts et du retour tactile dans des tâches continues.
Les occasions de véritablement relier ces capacités n'apparaissent que dans des tâches réelles.
Vers la fin du mois d'août (8) de cette année,le restaurant robotisé Blizzard issu de la collaboration entre Sharpa et DQ a ouvert son magasin sur la rue Wujiang à Shanghai, sans concevoir de poste de travail dédié spécialement pour le robot, mais en réutilisant directement les équipements, ingrédients et processus de fabrication existants de DQ, le robot accomplissant les 55 étapes consécutives allant de l'ouverture de la porte du coffre, à la mise en place de la couronne de gobelet, la récupération de la glace, l'ajout de garnitures, le mélange, jusqu'au versement dans le gobelet —
Prise isolément, aucune de ces étapes n'est vraiment « science-fiction », mais la difficulté réside dans leur enchaînement continu, où l'erreur laissée par une étape se transmet à la suivante.
Le plus grand défi est d'enchaîner une série d'opérations fortement liées dans un environnement non modifié.
Cela correspond précisément à la chaîne technologique que Sharpa a construite précédemment.
Les tâches de longue durée sont décomposées et gérées par le modèle ; le System 1 s'occupe des actions concrètes ; une fois le contact établi, le System 0 corrige en continu grâce au toucher et au retour de force ; le modèle du monde, combinant vision, toucher, retour de force et état proprioceptif, détermine où en est la tâche et quelle doit être l'étape suivante.
Et c'est ainsi queSharpa a relevé pour la deuxième fois cette année le plafond de la manipulation dextre。
Du matériel de main dextre au contrôle tactile, puis au modèle du monde et aux tâches en magasin réel, Sharpa est en train d'étendre progressivement la manipulation dextre d'une simple capacité d'exécuteur terminal à un ensemble complet de capacités de système.
La vision y résout « ce que l'on voit », tandis que le toucher complète « ce que l'on touche, avec quelle force, et si un glissement se produit », soutenant ensemble l'ajustement des gestes dans des tâches continues comme la préhension, l'insertion, la rotation et le serrage.
Sur le plan de l'architecture technique, le toucher existe comme une couche de calcul relativement indépendante ; les modèles supérieurs peuvent être remplacés, ce qui signifie que la capacité tactile peut s'accumuler continuellement sans être liée à une génération de modèle donnée, offrant ainsi au robot un ensemble d'informations de contact pouvant participer durablement à la perception et au contrôle.
À l'autre extrémité, il y a les données.
Le cofondateur de Sharpa,Li Yifan, a déjà déclaré à QbitAI : « Les données achetées ne permettent pas de construire un avantage ».
Cette phrase est plus facile à comprendre dans le contexte actuel du portefeuille de produits : plutôt qu'un modèle particulier ou un mode de collecte de données, ce à quoiSharpa tient, c'est à faire en sorte que le robot produise continuellement, dans des tâches réelles, une expérience « action—contact—retour—correction », puis à renvoyer cette expérience dans le modèle。
C'est une voie qui part de la tâche pour ensuite définir en retour le matériel et les modèles.
C'est aussi la « généralisation commerciale » que l'équipe fondatrice de Sharpa, forgée par la mise à l'échelle de la production de véhicules autonomes, continue de souligner dans l'intelligence incarnée : la capacité à continuer de fonctionner après changement de scénario ou de catégorie de produits, et la question de savoir si les gains d'efficacité peuvent couvrir les coûts d'achat, de déploiement, de maintenance et de données.
De ce point de vue, le changement le plus remarquable de Sharpa lors de ce salon IROS n'est peut-être pas « la sortie de trois nouveaux produits ».
Alors que la main dextre W01 résolvait auparavant la question de savoir « si le robot pouvait saisir et manipuler correctement un objet », avec l'arrivée du D01, du W02, de l'AE01 et de la mise en œuvre réelle chez DQ, Sharpa poursuit désormais son questionnement et son exploration à un niveau plus fondamental :
Pour différents scénarios de tâches, extraire les exigences matérielles et technologiques communes, et fournir un ensemble de capacités opérationnelles générales capable de répondre à de vrais postes, de livrer en continu, d'accumuler des données et de s'améliorer de manière itérative.