Autor丨 Qi Chengyong
Redaktion丨 Cen Feng
Kürzlich wurde in der Embodiment-Branche viel über die „Möglichkeit des Post-Trainings ohne physischen Roboter“ diskutiert. Sowohl im In- als auch im Ausland hat bisher kein Team eine brauchbare Lösung vorgelegt. Eine klare Sache: Ob große Modelle oder verkörperte Roboter – um wirklich gut zu sein, reicht es nicht, allein auf Pre-Training als Fundament zu setzen; die finale Praxis hängt vollständig vom „Post-Training“ ab. Dong Hao, Chief Scientist bei Qiyuan Robotics, erklärte gegenüber AI Technology Review: „Pre-Training hebt die Untergrenze, die Obergrenze hängt vom Post-Training ab.“ Aktuell streben Embodiment-Unternehmen nach realen Einsätzen wie Fabrikarbeit und Haushaltsreinigung; verglichen wird die Erfolgsquote, also die Kraft des Post-Trainings. Das Post-Training ist gerade deshalb schwierig, weil es mit der realen physischen Welt interagieren muss – früher wurden dafür ausschließlich Daten von echten Robotern verwendet. Doch das Training an echten Robotern ist viel zu teuer; bei großflächigem Einsatz sind Hardware-Verschleiß, Räumlichkeiten und Personal bei so vielen Roboterkörpern unbezahlbar. Daher geht die Branche beim Pre-Training bereits dazu über, Daten mit „körperlosen“ Geräten zu erfassen – die Menge stieg, doch der entscheidende „Fehlerkorrektur“-Schritt des klassischen Post-Trainings ließ sich damit nicht bewältigen. Um dieses Branchenproblem zu lösen, hat das Team von Dong Hao an der Universität Peking und bei Qiyuan Robotics HIL-UMI vorgestellt. Diese Arbeit dreht sich – unter der Prämisse der Körperlosigkeit in der Phase des Embodiment-Post-Trainings – um den entscheidenden Schritt der „Fehlerkorrektur“. Paper: https://arxiv.org/pdf/2609.20659 Projektseite: https://hil-umi.github.io
01
Die Kosten des Embodiment-Post-Trainings:
warum sind sie weit höher als beim RLHF großer Modelle?
Im Vergleich zu großen Modellen ist das Post-Training im Embodiment-Bereich viel zu teuer – ein wesentlicher Grund, warum viele Embodiment-Modelle Scaling nicht versuchen können. Warum große Sprachmodelle so gut geworden sind, ist allen klar: Nicht nur die Menge der Pre-Trainingsdaten, sondern vor allem das anschließende RLHF (Reinforcement Learning from Human Feedback, vereinfacht als Datenannotation verständlich) und DPO – diese „Post-Training“-Verfahren haben den Ausschlag gegeben. Aber das Post-Training verkörperter Roboter kostet weit mehr als das Hundertfache des RLHF großer Modelle. Beim RLHF großer Modelle werden schlicht mehr Leute vor den Computer gesetzt, die klicken und auswählen; verkörperte Roboter müssen dagegen direkt mit der physischen Welt kämpfen. Nehmen wir DAgger, die traditionell am häufigsten verwendete Methode, bei der Menschen oder Algorithmen als Experten das Post-Training bewerten – dieser Ablauf ist wirksam, aber teuer und langsam. Üblich ist das klassische Training mit echten Robotern mit Mensch in der Schleife (HG-DAgger: Human-Gated DAgger): Der Roboterarm arbeitet, der menschliche Operator sitzt daneben, hochkonzentriert beobachtend, und übernimmt im Notfall, wenn der Greifer fast ins Leere greift oder fast zusammenstößt, und zeichnet die korrekte Trajektorie auf – der Mensch überwacht die gesamte Trainingsschleife. Am lästigsten ist, dass nach jeder Korrektur die Szene manuell in ihren ursprünglichen Zustand zurückversetzt werden muss. Roboter ausführen, manuell eingreifen, Umgebung zurücksetzen – ein ganzer Nachmittag Sitzarbeit, und die nutzbare Datenmenge ist gering. Der Großteil dieser Zeit fließt in die unbeholfenen Bewegungen des Roboters und die manuelle Zurücksetzung der Umgebung. Dieses langsame und kostspielige Modell macht die großskalige Datenerfassung für das Post-Training zu einem riesigen Problem und schränkt die Skalierbarkeit stark ein. Daraus ergibt sich eine zentrale Frage: Können wir auf echte Roboter verzichten und – wie beim alltäglichen Hausarbeitmachen nebenbei – genau die „Fehlerkorrektur“-Daten erfassen, die das Modell am dringendsten braucht?02
Die Grundlogik von HIL-UMI:
Der UMI-Datenerfassung ein „Modellhirn“ hinzufügen
Der Ansatz von HIL-UMI ist äußerst clever und lässt sich in einem Satz zusammenfassen: „Auch ohne Roboter kann man dem Roboter Nachhilfe geben.“ HIL-UMI steht für Human-In-the-Loop (Mensch in der Schleife) UMI. Anders als bei der bisher üblichen Datenerfassung mit UMI (Handgreifer) ist die Erfassung mit HIL-UMI nicht „blind“, sondern es wird ein Modell hinzugefügt. HIL-UMI bindet das Modell direkt in den handgeführten Erfassungsprozess ein: In der realen Welt bewegt sich nur der Mensch: Der Operator hält den UMI-Greifer in der Hand und arbeitet normal (z. B. Spielzeug greifen, Handtücher falten), die Kamera filmt synchron das Geschehen. Das Modell „denkt mit“ im Hintergrund: Das Modell erhält dieselben Bilder und Aufgabenanweisungen und prognostiziert im Hintergrund schnell, „wie ich die nächsten 20 Handlungsschritte ausführen würde“, kontrolliert aber keinen Roboterarm. Bei Abweichungen wird sofort ein Hinweis ausgelöst: Das System vergleicht in Echtzeit die tatsächlichen menschlichen Bewegungen mit den vom Modell prognostizierten Bewegungen. Stimmen beide weitgehend überein, hat das Modell es begriffen, und keine erneute Aufzeichnung ist nötig; weicht die vom Modell „erdachte“ Trajektorie stark von der echten menschlichen Ausführung ab (das Modell ist in dieser Szene ein „Anfänger“), fordert das System den Operator sofort auf: „Diesen Abschnitt beherrscht das Modell nicht – ab hier bitte noch einmal mehr zeigen!“ Handgreifer und Erfassungsgerät – für den gesamten Prozess ist kein Roboterarm vor Ort nötig, geschweige denn, dass ein Roboter einen Fehler wirklich machen muss. Während der Mensch die Demonstration zeigt, erfasst er gezielt genau die Szenen, in denen das Modell beim realen Einsatz höchstwahrscheinlich scheitern würde.03
Nicht bloß ein Erfassungswerkzeug,
sondern ein Datenschwungrad für das Post-Training
Wer HIL-UMI nur als handgeführten Aufzeichnungsapparat versteht, unterschätzt es. Seine eigentliche Stärke ist ein selbstschließender Kreislauf, in dem das Modell selbst sein „Fehlerheft“ auswirft. Dieser Kreislauf ruht auf zwei technischen Säulen:Schritt 1: Erkennung von Aktionsdivergenzen (blinde Flecken aufspüren). Bei derselben Situation gibt es beim Roboterhandling oft mehrere sinnvolle Haltungen. HIL-UMI betrachtet keine Einzelvorhersage, sondern sampelt parallel mehrere Aktionsblöcke, um eine „Energieverteilung“ (Energy Score) zu berechnen. Ist das Modell sicher, ist die Aktionsverteilung stark konzentriert; sind die vom Modell gelieferten Aktionen dagegen verstreut und weichen stark von denen des Menschen ab, stuft das System das Modell in einen „Out-of-Distribution-Zustand (OOD)“ ein und startet umgehend die Nachaufzeichnung.Schritt 2: Advantage-Schätzer (effektive Aktionen von bedeutungslosem Wackeln unterscheiden). Bewegungen zu lernen reicht nicht – man muss auch wissen, ob sie den Aufgabenfortschritt voranbringen. Bei der Aufgabe, Würfel zu stapeln, ist es ein gewaltiger Unterschied, ob man den Würfel zögernd in der Luft schwenkt oder ihn präzise auf dem Sockel absetzt. HIL-UMI führt einen Schätzer ein, der anhand aufeinanderfolgender Bilder den „Aufgabenfortschritt“ bewertet, und nutzt ein „Advantage-Conditioning“-Training – das Modell soll nicht nur diese Korrektur lernen, sondern gezielt jene Aktionen, die den Aufgabenfortschritt substanziell vorantreiben. Der eigentliche Kreislauf liegt im „dynamischen Update“: Nach jeder gezielten Datenergänzung durchläuft das Modell eine Iteration. In der nächsten Erfassungsrunde ist das Modell schlauer, und Stellen, an denen es zuvor hängen blieb, lösen keinen Alarm mehr aus; stattdessen verschieben sich die Divergenzpunkte mit dem Menschen zu tieferen, schwierigeren Randfällen. Das Modell legt immer neue blinde Flecken offen, der Mensch zeigt gezielt vor, das Modell entwickelt sich weiter – die gesamte Pipeline iteriert wie ein Schneeball selbstständig und verabschiedet sich endgültig von der ineffizienten Methode, blindlings riesige Mengen positiver Daten zu wiederholen.04
Vergleich der Routen für körperloses Post-Training
Um HIL-UMI objektiver einzuordnen, müssen wir es mit den derzeit wichtigsten Routen der Branche vergleichen: Teleoperation mit echten Robotern und DAgger mit echten Robotern: Datenmaximale Treue, aber hohe Kosten pro Gerät, hoher Verschleiß und hohe Bedienhürden – ein Ausbau auf Zehntausende Geräte ist praktisch unmöglich. Simulation (Sim2Real) und Reinforcement Learning: Günstige Rechenleistung und massenhafte Datengenerierung, doch bei weichen Objekten (wie Kleidung), Reibung und komplexem Licht bleibt die Sim-to-Real-Lücke bis heute ein gewaltiges Hindernis; zudem kann es das Post-Training an echten Robotern nicht ersetzen. Massives Videopre-Training: Unbegrenzt skalierbar, aber ohne physikalische Kraftinformationen und präzise Aktionsdimensionen; dient meist dem Aufbau eines „Alltagsverständnisses“ des Modells und lässt sich nicht direkt in millimetergenaue Steuerung umsetzen, wird daher meist für das Pre-Training genutzt. Klassisches UMI (körperlose Erfassung positiver Beispiele): Günstig und von jedermann durchführbar, aber es lassen sich nur Positivbeispiele erfassen; das Problem der Fehlerbehebung des Modells bei Langzeitfehlern bleibt ungelöst, daher nur als Pre-Training brauchbar. HIL-UMI trifft genau einen ausgezeichneten Sweet Spot: Es übernimmt die niedrigen Kosten und die leichte Skalierbarkeit von UMI sowie die gezielte Fehlerkorrekturfähigkeit von DAgger und wirft zugleich die Nachteile beider Ansätze vollständig ab.05
Effizienzsteigerung um das 5.63-Fache,
das Post-Training dreht sich endlich nicht mehr um den Roboterarm
Ob sich die Rechnung technisch aufgeht, zeigen zwei Vergleiche: Gezielte Nachhilfe vs. blindes Zusatzlernen: In Tests mit vier Aufgaben an einem echten Roboterarm (Handtuch falten, Tisch aufräumen, Würfel stapeln, Stempeln) stieg bei gleichem Budget an Datenframes und fortlaufendem Anwachsen gewöhnlicher Demonstrationen im üblichen SFT-Finetuning die durchschnittliche Task Progress Score (TPS) nur mühsam von 44.3 auf 58.0; mit HIL-UMIs gezieltem Fehlerkorrekturmechanismus sprang der Durchschnittswert direkt auf 94.8. Bei den präzisionskritischsten Aufgaben Würfel stapeln und Stempeln wurde eine Erfolgsquote von 100 Punkten erreicht. Die Erfassungseffizienz stieg direkt um das 5.63-Fache: Erkennbar läuft die x-Achse vom Ausgangsmodell Base über drei Update-Runden Iter1—Iter3, die y-Achse zeigt die Task Progress Score. Violett für SFT, orange für HIL-UMI ohne Advantage-Mechanismus, grün für vollständiges HIL-UMI; ganz rechts der Durchschnitt der vier Aufgaben. Bei der äußerst komplexen Langzeitaufgabe „Tisch aufräumen“ dauerte die Erfassung eines effektiven Frames mit HG-DAgger an echten Robotern 412.99 Millisekunden, mit HIL-UMI nur 73.40 Millisekunden – die Erfassungseffizienz pro Zeiteinheit stieg um volle 5.63-Fache, denn die direkte Erfassung mit der eigenen Hand ist viel bequemer als die Fernsteuerung eines Roboters. (Lei Feng Wang) Die linke Grafik zeigt den Durchschnitt der vier Aufgaben im Verlauf der kumulierten Erfassungszeit; die rechte Grafik zeigt die Leistung der einzelnen Methoden über die Trainingsphasen bei der Aufgabe Tisch aufräumen. Die eingesparten über 5-fachen Zeitkosten sind allesamt frühere „Verluste“ durch langsam kriechende Roboterarme, wartende Operatoren und das manuelle Wiederherstellen der Szene. Aus unserer Sicht liegt die wichtigere kommerzielle Vorstellungskraft darin: Die Teleoperation mit echten Robotern stellt extrem hohe Anforderungen an die Fertigkeit der Arbeiter; ein leichtes Zittern erzeugt minderwertige Daten. Der Handgreifer dagegen: „Der Mensch kann es von Natur aus, die Trajektorienqualität ist sehr hoch.“ Das bedeutet, dass das Post-Training zum ersten Mal „verteilt“ möglich wird. Künftig könnten in gewöhnlichen Wohnungen überall im Land Teilzeitkräfte mit ein paar hundert Yuan einfachem Equipment alltägliche Bewegungen ausführen, während im Hintergrund dasselbe Cloud-Modell läuft; wo das Modell eine Aktionsdivergenz erkennt, zieht es still jenes kurze Segment hochwertiger Differenzdaten an und sendet es zurück. Das Embodiment-Post-Training braucht endlich nicht mehr alle Leute mit Roboterarmen im Labor.06
„Bei der künftigen Entwicklung des Post-Trainings
geht es um Geschwindigkeit und Effizienz“
Im Interview wagte Dong Hao, Chief Scientist bei Qiyuan Robotics, eine sehr konsensbrechende Einschätzung:In seinen Augen war es wie damals bei DeepMind mit AlphaGo: Zunächst wurde mit Schachpartien imitierendes Lernen (Pre-Training) betrieben, doch was es wirklich legendär machte, war die anschließende Post-Training-Phase, in der das System gegen sich selbst spielte und大规模大规模 bestätigt:大规模大规模大规模 bestätigt,大規模 groß angelegtes Reinforcement Learning betrieben wurde. Bei den heutigen Robotik-Großmodellen sieht es genauso aus: Das Pre-Training löst den Aufbau eines Ausgangsweltbilds, der Weg ist dabei relativ klar; aber wer in Zukunft wirklich zu Generalisierung und höchster Erfolgsquote gelangen wird, entscheidet sich ganz am „skalierbaren Post-Training“. Wenn man sagt, dass in den vergangenen zwei Jahren bei der Embodied Intelligence darum ging, wer als Erster mit einem Großmodell den Roboter „zum Leuchten bringen“ konnte, dann geht es im Wettbewerb der zweiten Halbierung darum, wer mit den geringsten Grenzkosten und am schnellsten ein Fehlerkorrekturnetzwerk für Roboter aufbauen kann. Am entscheidenden Wendepunkt, an dem Embodied-Modelle von „funktionierendem Demo“ zu „Einzug in Millionen Haushalte“ übergehen – welche Pläne verfolgt die Industrie eigentlich? Und wie werden die Großmodelle der nächsten Generation und die Post-Training-Systeme sich weiterentwickeln? In Kürze werden wir auch ein Exklusivinterview mit Dong Hao, außerordentlicher Professor an der Peking-Universität und Chefwissenschaftler von Qiyuan Robotics, bringen, in dem es um die Verschmelzung und Komplementarität von Embodied-Academia und Industrie gehen wird – freuen Sie sich darauf. (Lei Feng Wang (Öffentlicher Account: Lei Feng Wang))„Pre-Training und Post-Training stehen nicht in einem einfachen Verhältnis; sie sind ein phasenweiser Wechsel.“
Steigen Sie ein und lassen Sie sich die Highlights der weltweit wichtigsten KI-Topkonferenzen zeigen
Exklusiv frei zugänglich:
Präsentationsfolien von Experten
Volltexte der Konferenzberichte
Interpretationen beliebter Fachartikel
Interviews mit aufstrebenden Nachwuchswissenschaftlern
Scannen Sie den QR-Code oben
oder klicken Sie auf „原文 lesen“ und folgen Sie dem Themenbereich.
Originalartikel von Lei Feng Wang; Nachdruck ohne Genehmigung verboten. Einzelheiten sieheHinweise zum Nachdruck。