Ein Paar geschickte Hände, das Walnüsse dreht und Eiscreme machen kann, das reicht bereits, um in Erinnerung zu bleibenSharpa：
Dieses Embodied-AI-Startup, das von Gründungsmitgliedern des Hesai-Teams neu gestartet wurde, hatte in der vergangenen Zeit sein markantestes Label: hochgradig freie tactile Geschicklichkeitshände.
Auf der aktuell laufendenIROStrieb Sharpa dieses Thema nun einen Schritt weiter: Der erstevollständig eigenentwickelte generische humanoide Roboter D01 ist da:
Zudem gibt es die neue Geschicklichkeitshand-Generation W02:
sowie den Exoskelett-Datenhandschuh AE01:
Hand, Körper und Dateneingang – alles gleichzeitig auf dem Messestand.
Warum Sharpa damit beginnt, den Roboterkörper selbst zu bauen – und sogar den Dateneingang für das „Wie erlernt man Manipulation“ gleich mit?
Betrachtet man diese drei Produkte zusammen, deutet die Antwort auf jene Fragestellung, über die derzeit fast alle im Bereich Embodied AI debattieren:
Was braucht ein Roboter alles, um über Messe- und Bühnen-Demos hinauszuwachsen und echten kommerziellen Wert zu schaffen?
Die drei Produkte auf der IROS im Detail
Zunächst D01: Sharpa beschreibt ihn als integrierten tactile-perzeptiven Geschicklichkeitsmanipulations-Roboter.
Die bemerkenswertesten Zahlen dieses Roboters drehen sich alle um die Geschicklichkeitsmanipulation: Das Nutzlast-Eigengewichts-Verhältnis des Arms liegt nahe 1:1, die maximale Endeffektorgeschwindigkeit übersteigt 10.5m/s, die Kommunikationsfrequenz erreicht 1000Hz, die Wiederholgenauigkeit beträgt 0.2mm, und das Kugelgelenk des Handgelenks ist im 1:1-Maßstab des menschlichen Körpers gestaltet.
„Hochgeschwindigkeitsbewegung“ bedeutet, dass der Roboter dynamische Aufgaben wie Stabübergaben oder Werkzeugbedienung schnell ausführen kann:
Die „hohe Tragfähigkeit“ verschafft dem Arm während der Bewegung ausreichend Arbeitsreserve; die Wiederholgenauigkeit von 0.2mm treibt die Fähigkeiten weiter in Richtung Feinmanipulation.
Bei komplexen Aufgaben können Geschwindigkeit, Kraft und Präzision selten isoliert vorkommen – genau hier liegt der Designfokus des D01.
Noch besonderer ist der Tastsinn。
Der D01 hat eine elektronische Haut am gesamten Körper, die Tastempfindung deckt den Oberkörper abDie Tast-Abtastrate beträgt 100Hz, der Kraftmessbereich 0.1–20N, die Kraftauflösung 0.2N. Der Roboter kann dadurch leichte Berührungen, Kollisionen und äußere Krafteinwirkungen direkt wahrnehmen.
Warum Sharpa so beharrlich am „Tastsinn“ festhält, wird erst deutlicher, wenn humanoide Roboter wirklich in den Arbeitsraum – also in Umgebungen für Geschicklichkeitsmanipulation – eintreten：
Die Sehkraft kann dem Roboter vorab mitteilen, dass „da vorne etwas ist“, doch nachdem der Kontakt stattgefunden hat, muss der Roboter noch wissen, „wo er getroffen hat, wie stark die Kraft war und ob sich der Kontakt verändert hat“.
Wenn der Roboter etwa ein schnell fallendes Objekt fängt, muss er den Zustand von Arm und Fingern innerhalb kürzester Zeit anpassen; oder wenn ein Mensch, der daneben arbeitet, den Arm des Roboters berührt, muss der Roboter einschätzen, woher diese äußere Kraft kommt und ob die aktuelle Trajektorie geändert werden muss. Für solche spontanen physischen Ereignisse kann die Sehkraft allein kaum vollständige Informationen liefern.
Der menschliche Körper macht das eigentlich ständig. Spüren die Finger, dass ein Objekt abrutscht, wird der Griffreflexartig verstärkt; stößt der Arm an den Tisch, ändert sich die nächste Bewegung; erfährt der Körper eine äußere Kraft, passt er sofort seine Haltung an.
Viele Bewegungen müssen nicht erst als textliche „Gedankenkette“ formuliert und zur Ausführung angeleitet werden – der Körper selbst liefert das Echtzeit-Feedback. Dass der D01 die elektronische Haut über Arme und Brust verteilt, bedeutet, dass auch dieses „Körperfeedback“ in das Wahrnehmungssystem des Roboters einbezogen wird.
Bei D01 ist der zentrale Interaktionsbereich mit Tastsinn voll abgedeckt; verändert wird damit die Rolle des Roboterkörpers im Steuerungssystem: von bloßer Anomalieerkennung oder nachträglicher Protokollierung hin zu einem Bestandteil der Bewegungsanpassung.
Betrachten wirW02, „die neue Generation einer volltaktilen ultrakompakten, leichten Geschicklichkeits-Hand“genauer, zeigt sich hier eine etwas überraschende Veränderung:Die Vorgängergeneration W01 hatte 22 aktive Freiheitsgrade, das W02 ist hingegen auf 21 reduziert.。
Weggefallen ist ein Freiheitsgrad des CMC-Gelenks an der Wurzel des kleinen Fingers.
Laut Anwendungsstudien von Sharpa wird dieser Freiheitsgrad bei üblichen Greif- und In-Hand-Manipulationsaufgaben selten genutzt und trägt nur wenig zum Erfolg der Aufgaben bei; deshalb hat das W02 die entsprechende Struktur vereinfacht und damit auch die mechanische Komplexität und potenzielle Fehlerquellen reduziert.
Das ist einer der sehenswertesten Aspekte des W02:Wenn eine Geschicklichkeits-Hand weiter an Fähigkeiten zunimmt, muss die Zahl der Freiheitsgrade nicht unbedingt ständig steigen.。
Außerdem hat das W02 seine 21 aktiven Freiheitsgrade in eine kompaktere Struktur gepackt; die Größe der gesamten Hand ist im Vergleich zum W01 um etwa 30 % geschrumpft, und auch das Gewicht wurde weiter gesenkt. Das führt direkt zu zwei Veränderungen: Die Last am Unterarm sinkt, und es wird leichter, die Hand in Arbeitsräume unterzubringen, die nach den Maßen der menschlichen Hand ausgelegt sind.
Kleiner und leichter zu sein ermöglicht auch einige Aufgaben, die zuvor schwer zu bewältigen waren.
Zum Beispiel realisiert W02 einen „Null-Greifradius“ und kann dadurch kleinformatige Objekte wie Essstäbchen und dünne Fäden stabiler handhaben. Die Fingerspitzen sind mit hochauflösenden visuell-taktilen Sensoren ausgestattet, mit einem Kraftmessbereich von 5 mN bis 30 N und einer räumlichen Auflösung von 1 mm; die übrigen Bereiche der Handfläche sind mit elektronischer Haut bedeckt, mit einem Kraftmessbereich von 0,1 bis 20 N und einer räumlichen Auflösung von 5 mm.
Das heißt, die taktile Abdeckung von W02 hat sich von „einigen Fingerspitzen“ auf die gesamte Hand ausgedehnt: Der Roboter kann gleichzeitig Kontaktinformationen von den Fingerspitzen, den Fingern und der Handfläche erhalten, was gerade bei kleinen Objekten und kontinuierlicher In-Hand-Manipulation besonders wichtig ist.
Bemerkenswert ist hier, dass Sharpa „Miniaturisierung“ und „taktile Abdeckung“ in dieselbe technische Randbedingung gepackt hat: Eine Hand muss sich sowohl in den menschlichen Arbeitsraum einfügen als auch ausreichende Kontaktempfindung bewahren.
Zuletzt kommtAE01, ein „hochtreues exoskelettartiges haptisches Datenhandschuh-System“, das vor allem für präzise Teleoperation und Datenerfassung aus der Egoperspektive eingesetzt wird。
AE01 erfasst mit 22 Encodern präzise die natürlichen Handbewegungen des Bedieners und bildet sie in Echtzeit auf den Roboter ab, was eine natürlichere und reaktionsschnellere hochtreue Teleoperation ermöglicht.
Der Schlüssel liegt im „Feedback“: Wenn ein Mensch ein Objekt bedient, sehen seine Augen Position und Form, aber die Finger spüren auch Kraft, Kontakt und Gleiten. AE01 lässt den Roboter diese Informationen an den Menschen zurückgeben, sodass der Bediener seine Bewegungen anhand des Tastgefühls anpassen kann.
Gleichzeitig können die natürlichen Handbewegungen des Menschen vom Roboter in Echtzeit erfasst werden.
Der Wert von AE01 liegt daher vor allem im Schritt, „die operationale Erfahrung des Menschen in für Roboter nutzbare Daten umzuwandeln“: Die Bewegungsbahnen des Menschen, die Kontaktfeedbacks auf Roboterseite sowie die Abbildung zwischen beiden werden in denselben Erfassungsprozess integriert.
Was ist eigentlich anders an Sharpas Full-Stack für geschickte Manipulation?
Betrachtet man die drei Produkte im Kontext konkreter technischer Fragestellungen, liegt das Interessante an Sharpas drei Produkten auf der IROS darin, dass sie versuchen, „geschickte Manipulation“ von wenigen isolierten Hardwarefähigkeiten weiter zu einem umKontaktempfindung, Regelung mit geschlossenem Regelkreis und datenbasiertes Lernenaufgebauten Technologiesystem zu machen.
Um dieses Technologiesystem jedoch zu verstehen, sollte man bei der Frage ansetzen: „Wann braucht ein Roboter Tastsinn?“
Klassische visuelle Strategien sind im besten Fall in der Phase vor dem Kontakt stark: Objekte erkennen, Positionen schätzen, eine Armbahn planen und dann die Hand hinführen. Das Problem tritt genau in den letzten Zentimetern, ja sogar den letzten Millimetern auf.
Beim Einfügen, Schrauben, Ausrichten oder Greifen weicher Objekte liegen die entscheidenden Variablen für den Auftragserfolg oft nach dem Kontakt verborgen: Hat sich das Objekt verschoben? Ist es gerutscht? Ist der Druck zu groß? Hat sich der Kontaktpunkt verändert? Das Sehen kann einen Teil des Ergebnisses erkennen, doch diese kurzzeitigen physikalischen Zustände sind visuell kaum stabil zu beobachten.
Sharpas CraftNet-Modell geht dieses Problem sehr klar an: System 2 ist für das Verständnis der Aufgabe und die langfristige Planung zuständig, System 1 für die Bewegungsplanung vor dem Kontakt, und System 0 tritt in die Kontaktphase ein und verarbeitet taktiles Feedback und Feinbewegungen mit höherer Frequenz. System 0 führt nicht nur feine Bewegungen aus, sondern gibt Zustandsinformationen auch an System 1 zurück, sodass übergeordnete Bewegungen bei Ausführungsfehlern oder Veränderungen des physikalischen Zustands neu angepasst werden können.
Das bedeutet:Die Rolle des Tastsinns besteht hier in der Tat darin, die Zeitskala des Regelkreises zu verändern.。
Vor dem Kontakt kann der Roboter mit einem langsameren Modell darüber nachdenken, „was ich greifen will und von wo ich mich nähere“; nach dem Kontakt braucht es Antworten auf Fragen wie „rutscht es gerade?, soll ich fester zugreifen?, wohin soll ich den Finger verschieben?“. Letzteres verlangt, dass das Regelsystem mit höherer Frequenz arbeitet.
Geht man noch einen Schritt weiter, lautet die Frage: Wie kann ein Roboter eine einzelne Kontakterfahrung behalten?
Genau darin liegt der Grund, warum Sharpas neueste WM-Craftnet-Forschung bemerkenswerter ist als eine bloße „Vision-plus-Taktile-Fusion“.
Statt zuvor einfach Tiefenkarten, taktile Daten und Gelenkzustände zusammenzufügen und der Politik zuzuführen, wurde in der neuen Forschung ein World Synesthesia Model trainiert, also ein Weltmodell mit zeitlichem Gedächtnis.
Die Eingaben umfassen Handgelenkstiefe, taktile Daten, Propriozeption und zuvor ausgeführte Aktionen; über ein rekurrentes Zustandsraummodell im Dreamer-Stil werden die Informationen in einen sich über die Zeit verändernden latenten Zustand komprimiert. Dieser Zustand dient dann als Kontext der Politik, um die aktuelle Geometrie-, Kontakt- und Bewegungslage des Objekts zu beurteilen.
Das Modell lernt nicht nur, „was gerade berührt wird“, sondern muss auch einbeziehen, was zuvor geschehen ist, um zu erschließen, „warum es jetzt so geworden ist“.
Die Bedeutung dieses Schritts liegt darin,dass er über die „Beteiligung des Tastsinns an der Regelung“ eine Ebene weiterführt: Der Roboter beginnt zu versuchen, eine interne Repräsentation des Kontaktzustands zu bilden.。
Zurück zur ursprünglichen Frage: Warum besteht Sharpa so hartnäckig darauf, den Tastsinn ins Zentrum der geschickten Manipulation zu stellen?
Sensoren liefern rohe Kontaktsignale, das Regelsystem reagiert im Bereich von Millisekunden bis Hundert Millisekunden, und das Weltmodell versucht, diese kurzzeitigen Ereignisse zu „physikalischen Zuständen“ zu ordnen, die der Roboter dauerhaft nutzen kann —
genau das ist der Kern, der geschickte Manipulation von der gewöhnlichen Bahnverfolgung eines Roboterarms unterscheidet.
AE01 ergänzt schließlich auf der Datenseite das letzte fehlende Puzzleteil.
Die klassische Teleoperation zeichnet vor allem die Bewegungsbahnen des Menschen auf, kann aber die physikalische Erfahrung während des Kontakts kaum vollständig bewahren.
Das AE01 erfasst natürliche Handbewegungen über Encoder und gibt gleichzeitig den taktilen Zustand der Roboteraseite an den Bediener zurück, wodurch eine bidirektionale Schnittstelle entsteht: Die Bewegungen des Menschen gelangen in den Roboter, und der Zustand nach dem Kontakt des Roboters mit Objekten beeinflusst wiederum die nächsten Handlungen des Menschen.
Auf diese Weise umfassen die Daten einer einzelnen menschlichen Operation nicht mehr nur „wohin sich die Hand bewegt hat“, sondern auch den Kontaktzeitpunkt, Kraftänderungen, den Gleitzustand sowie die anschließenden Korrekturbewegungen. Präzise Steuerung, taktil synchronisierte Erfassung und Kalibrierungsfreiheit senken die Hürden für die Mensch-Maschine-Zuordnung und die Synchronisation multimodaler Daten.
Das neue Fortschritt auf der IROS lässt sich also eigentlich in einem Satz zusammenfassen:
Sharpa versucht, ein sehr praktisches Problem der Embodied Intelligence zu lösen: Hochwertige Manipulationsdaten sind schwer zu erhalten, und gerade die wirklich wertvollen Daten entstehen genau in den Momenten, in denen der Kontakt am komplexesten ist.。
Aus dieser Perspektive ist bei Sharpas „Full-Stack“-Fähigkeiten im Bereich der Geschicklichkeitsmanipulation jede Komponente unverzichtbar: Der Roboter bringt den Roboter in echte Arbeitsräume, die dexterous Hand verarbeitet die feinkörnigen Kontakte zwischen Mensch und Objekt, und die Dateneingangsstelle speichert die operationserfahrungen des Menschen und die physischen Rückmeldungen des Roboters.
Schließlich nutzt das Modell diese Informationen erneut, um einzelne Operationen in Fähigkeiten der nächsten Runde zu verwandeln.
Der Top-Spieler bei der Geschickten Manipulation
Die Hand ist zunächst das zuverlässigste Organ des Menschen für die Bewältigung verschiedenster komplexer Aufgaben.
Gleichermaßen ist sie das unmittelbarste Medium, mit dem Roboter feine physikalische Interaktionen mit der realen Welt vollziehen.
Es ist daher nicht überraschend, dass Sharpa seit dem W01 langfristig auf hohen Freiheitsgrad, Taktiles und feine Manipulation setzt.
Mit der Demo auf der CES zu Jahresbeginn sorgte das Unternehmen für Aufsehen,Sharpa zeigte der Branche ein Live-Demo geschickter Manipulation auf absolutem Spitzenniveau.
Doch wenn dieGeschickte Hand ein gewisses Niveau erreicht hat, verlagert sich die Fragestellung natürlich an beide Enden des Körpers: Welche physische Trägereinheit braucht diese Hand eigentlich, um in verschiedenste Arbeitsumgebungen einzutreten? Und welche Daten werden benötigt, damit ein Roboter das Gelernte verallgemeinern und eine „kommerzielle Generalisierung“ über verschiedene Aufgabenszenarien hinweg erreichen kann?
Zu den dabei auftretenden Problemen zählen die Kontrollgenauigkeit bei schnellen Bewegungen, das Erfassen echter Kontaktvorgänge, die Bedienung menschlicher Werkzeuge sowie die Fähigkeit zum Umgang mit komplexen Objekten wie dünnen Platten, flexiblen Gegenständen und Flüssigkeiten – und zugleich müssen Körper, Handgelenk, Finger und taktiles Feedback bei durchgehenden Aufgaben zusammenarbeiten.
Eine Gelegenheit, diese Fähigkeiten wirklich miteinander zu verknüpfen, bietet sich nur bei echten Aufgaben.
Ende des 8. Monats dieses Jahres,eröffnete das von Sharpa gemeinsam mit DQ betriebene Blizzard-Roboterrestaurant am Wujiang Road in Shanghaiohne für die Roboter einen eigenen Arbeitsplatz zu entwerfen, sondern unter direkter Weiterverwendung der bestehenden Geräte, Zutaten und Herstellungsabläufe von DQ. Der Roboter bewältigt dabei 55 aufeinanderfolgende Schritte – vom Öffnen des Schränkchens, dem Aufsetzen des Becherrings, dem Zapfen von Eis, dem Streuen von Toppings, dem Umrühren bis zum Einschenken ins –
Betrachtet man jeden einzelnen Schritt für sich, ist er keineswegs „sciencefictionartig“, doch die Schwierigkeit liegt darin, dass sie in Serie ablaufen und Fehler, die ein Schritt hinterlässt, auf den nächsten übertragen werden.
Die größte Herausforderung besteht darin, eine Kette hochgradig verbundener Operationen in einer unmodifizierten Umgebung lückenlos durchzuführen.
Und genau das entspricht der technischen Kette, die Sharpa zuvor aufgebaut hat.
Langzeit Aufgaben werden vom Modell zerlegt und zustandsverwaltet; System 1 übernimmt die konkreten Bewegungen; beim Eintritt in den Kontakt korrigiert System 0 mithilfe von taktilen und Kraft-Rückmeldungen kontinuierlich; das Weltmodell wiederum kombiniert visuelle, taktile und Kraft-Feedbacks sowie den Körperzustand, um zu beurteilen, wie weit die Aufgabe fortgeschritten ist und was der nächste Schritt sein sollte.
Und genau das ist auchdas zweite Mal in diesem Jahr, dass Sharpa die Obergrenze geschickter Manipulation neu definiert hat。
Von der Hardware der Geschickten Hand über die taktile Kontrolle bis hin zum Weltmodell und den Aufgaben im echten Geschäft – Sharpa entwickelt die geschickte Manipulation schrittweise von der Fähigkeit eines Endeffektors zu einem umfassenden System aus Fähigkeiten weiter.
Dabei löst das Sehen die Frage „Was wird gesehen?“, während das Taktile ergänzt, „Woran stößt man, mit welcher Kraft, und tritt ein Rutschen auf?“, und beide tragen gemeinsam die Bewegungsanpassung bei kontinuierlichen Aufgaben wie Greifen, Ein- und Ausstecken, Drehen und Quetschen.
Architektonisch existiert das Taktile als relativ eigenständige Rechenschicht; das übergeordnete Modell ist austauschbar, was bedeutet, dass die taktile Fähigkeit kontinuierlich aufgebaut werden kann, ohne an eine bestimmte Modellgeneration gebunden zu sein. Der Roboter erhält dadurch eine Reihe von Kontaktinformationen, die dauerhaft an Wahrnehmung und Kontrolle teilhaben können.
Am anderen Ende stehen die Daten.
Sharpa-MitgründerLi Yifanhatte QbitAI bereits erzählt: „Gekaufte Daten erzeugen keinen Vorsprung.“
In der heutigen Produktstrategie lässt sich dieser Satz leichter verstehen: Statt auf ein bestimmtes Modell oder eine bestimmte Form der Datenerhebung kommt esSharpa darauf an, dass der Roboter bei echten Aufgaben fortlaufend Erfahrungen der Art „Aktion–Kontakt–Feedback–Korrektur“ sammelt und diese Erfahrungen anschließend wieder in das Modell zurückführt。
Dies ist ein Weg, der von der Aufgabe ausgeht und von dort aus Hardware und Modell rückwirkend definiert.
Dies ist auch die „kommerzielle Generalisierung“, auf die das durch die Massenproduktion im autonomen Fahren gestählte Gründungsteam von Sharpa bei der verkörperten Intelligenz weiterhin Wert legt: Funktioniert das System nach Wechsel des Szenarios oder der Produktkategorie weiterhin, und decken die Effizienzgewinne die Kosten für Beschaffung, Einsatz, Wartung und Daten?
Aus dieser Perspektive betrachtet ist die bemerkenswerteste Veränderung von Sharpa auf dieser IROS vielleicht auch nicht, dass „wieder drei Produkte vorgestellt wurden“.
Löste die Geschickte Hand W01 zuvor die Frage, ob ein Roboter Dinge festhalten und gut manipulieren kann, so fragt und erforscht Sharpa mit der tatsächlichen Umsetzung von D01, W02, AE01 und DQ nun eine noch grundlegendere Ebene:
Für unterschiedliche Aufgabenszenarien werden allgemeine Hardware- und Technologieanforderungen abgeleitet, um einen Satz universeller操作Fähigkeiten bereitzustellen, die realen Berufspositionen gewachsen sind, kontinuierlich liefern, Daten ansammeln und sich iterativ verbessern.