Hengyu, aus Aofeisi
Quantum Bit | Öffentlicher WeChat-Account QbitAI
Da die kleinen Haken im Regal teilweise von Preisschildern verdeckt wurden, versuchte der Roboter-Jun, der als Aushilfe im Minimarkt arbeitet, zum ersten Mal, Waren aufzuhängen … und griff ins Leere.
In der Vergangenheit hätte an dieser Stelle ein menschlicher Ingenieur eingreifen müssen, der zuerst das Problem eingrenzt, dann das Programm anpasst und Daten ergänzt, damit der Roboter die Übung erneut durchläuft.
Aber Roboter-kun ist ein bisschen anders.Es hat selbst eine neue Methode erdacht.
Es blickte auf die vorherigen Ausführungsprotokolle zurück und stellte fest, dass die Winkelauflösung der Kopfkamera unzureichend war und dass das Schild mit der Beschriftung die Sicht versperrte, sodass die Position des kleinen Hakens nur schwer zu erkennen war.
Daraufhin passte der Agent seine Strategie an: Er ließ die linke Hand sich zunächst dem Ziel nähern und nutzte die Handgelenkskamera, um eine Nahansicht zu ergänzen; erst nach Bestätigung der Position vollendete die rechte Hand das Aufhängen der Ware.
Erwähnenswerter ist zudem, dass der Roboter gerade nicht nur selbst das Problem erkannt und eine Lösung gefunden hat,„…“ – übersetzen: „und hat sich diese wirksamen Erfahrungen stillschweigend angesammelt, um sie für eventuelle Notfälle bereitzuhalten.“
Dieser Mechanismus, durch den Roboter bei der Arbeit Probleme entdecken, Strategien anpassen und Erfahrungen sammeln, basiert aufDie neueste von Zhiyui veröffentlichte具身Agent-Framework Genie Master.
Dies ist auch die vierte Ausgabe der aktuellen „AI WAVE“-Technologiereihe von Zhiyuan – diesmal hat Zhiyuan in der Branche Physical RSI (embodied recursive self-improvement) in den realen Geschäftsbetrieb eines Convenience-Stores übertragen.
Mit der Unterstützung von Genie Master kann der Zhiyuan-Elf-G2-Roboter bei der Ausführung von Aufgaben in einer echten Kommissumgebung bereits ohne manuelle Demonstration und Debugging selbstständig Fehlerursachen analysieren, Strategien anpassen und Erfahrungen sammeln.umsetzen„Kontinuierliche Selbstverbesserung ohne menschliches Zutun.“
Dies ist das erste Mal in der Branche, dass außerhalb von Simulationsumgebungen und Laboreinstellungen (Toy Setting) in realen Geschäftsszenarien ein durchgängiger Ablauf realisiert und validiert wurde.Physical RSI.
Wie funktioniert dieser selbstentwickelnde geschlossene Kreislauf von Genie Master genau? Und welche revolutionären Veränderungen kann er für den Masseneinsatz von Robotern mit sich bringen?
Was ist Genie Master?
Um zu verstehen, warum dieser Roboter „sich selbst erleuchten“ konnte, muss man zunächst klären, was hinter ihm, der Genie Master, eigentlich steckt.
Ganz einfach gesagt, Genie Master istEin verkörperterEin Agent-Framework, dessen Kernaufgabe es ist, die Reasoning-Fähigkeiten höherer Agenten mit der Aktionsausführung niedriger Roboter zu verbinden.
Sie ermöglicht es dem Agenten nicht nur, die verschiedenen Fähigkeiten des Roboters reibungslos aufzurufen und echte physikalische Ausführungsfeedbacks zu verstehen, sondern auch, Handlungen und gezielte Übungen entsprechend dem Aufgabenfortschritt kontinuierlich zu organisieren.
Sobald ein Roboter im praktischen Einsatz Schwächen in seinen Fähigkeiten offenbart, wird dieses Problem direkt in den Prozess der autonomen Verbesserung eingespeist.
Es ist nicht schwer zu erkennen, dass Genie Master den Schwerpunkt darauf legen möchte, aufzubauenMechanismus zur kontinuierlichen Verbesserung nach der Robotereinsatzbereitstellung——dies umfasst sowohl die Beurteilung und dynamische Anpassung während der Aufgabenausführung als auch die anschließende Verdichtung von Erfahrungen und die Aktualisierung zugrunde liegender Handlungsstrategien.
Der Grund, warum Zhiyuan diesen Rahmen vorgeschlagen hat, ist, dass sie die langjährigen Schmerzpunkte bei der praktischen Umsetzung in der Branche erkannt haben.
Branchenkundige wissen: Sobald Roboter in echte Geschäftsszenarien eintreten, stoßen sie zwangsläufig auf Long-Tail-Fälle, die in der Trainingsphase nicht abgedeckt wurden.
Fehlgeschlagene Ausführungen, instabile Bewegungen oder Aufgaben mit übermäßig langer Dauer können erfordern, dass Ingenieure zur Fehleranalyse eingreifen und anschließend durch Anpassung des Programms, Ergänzung von Demonstrationsdaten oder Training des Modells die Leistung verbessern.
Je mehr Szenarien und je komplexer die Aufgaben, desto größer wird auch der Aufwand für Entwicklung und Wartung.
Wenn bei jeder neuen Anforderung auf eine manuelle Fehleranalyse und Fehlersuche von Grund auf gewartet werden muss, ist die Iterationsgeschwindigkeit begrenzt, und eine großflächige, szenarienübergreifende Einführung wird noch schwieriger.
Kurz gesagt:Damit Embodied Intelligence wirklich im großen Maßstab eingesetzt werden kann, muss sie vom auf menschliche Demonstrationen angewiesenen„passiven Feintuning“ zu einem „selbstevolvierenden Modus“ übergehen, in dem der Roboter Probleme selbstständig erkennt und löst.
Genie Master möchte einen Teil dieser Arbeit an Agenten übertragen.
Indem Problemdiagnose, Übungsorganisation und Ergebnisevaluierung allesamt vom Agenten gesteuert werden, ermöglicht Genie Master Robotern, neue Fähigkeiten autonom zu erwerben und soden Entwicklungszeitraum von„der neuen Anforderung eines Kunden“ bis „zur Beherrschung dieser neuen Fähigkeit durch den Roboter“ erheblich zu verkürzen.
Neben der eingangs erwähnten Nachfüllung von Hakenware zeigte der mit Genie Master ausgestattete Roboter in Tests in einem echten Convenience-Store weitere Fähigkeiten im Umgang mit komplexen Situationen.
Laut Zhiyuan hat das Genie-Master-Team Warenentnahme, Nachfüllen, Reinigung, Ausnahmenbehandlung und Multi-Roboter-Kollaboration in einen einheitlichen Arbeitsablauf integriert und erkundet eine kontinuierliche Verbesserungsschleife für Roboter im realen Geschäftsbetrieb.
In der Freizeit eigenständig „Extra-Training“: Das Embodied-Agent-Framework verbindet Großhirn und Kleinhirn
Roboter sich bei der Arbeit selbst weiterentwickeln zu lassen, ist kein schwieriger Gedanke.
Aber warum blieb das bisher auf Labordiskussionen beschränkt, und kaum jemand hat es wirklich in realen Geschäften umgesetzt?
Der Grund dafür: Sowohl das Erfahrungswissen auf der oberen Ebene als auch die Internalisierung von Strategien auf der unteren Ebene müssen auf einer äußerst anspruchsvollen Grundlage aufbauen –
der Reasoning auf oberer EbeneDie Führung des „Gehirns“ muss präzise in Aktionen umsetzbar sein; die Ergebnisse der „unteren Ebene“, des ausführenden „Kleinhirns“, müssen ebenfalls in Echtzeit an das Gehirn zurückgemeldet werden.
Um diese beiden Kanäle zu verbinden, bringt Genie Master einen seiner zentralen Entwürfe ein:
das Embodied Execution ProtocolEEP (Embodied Execution Protocol).
Das EEP schafft eine einheitliche Schnittstelle zwischen Agent und physischer Welt und umfasst im Wesentlichen vier Kernschnittstellen:
- die Capability-Schnittstelle: Sie ermöglicht dem Agent zu wissen, welche Fähigkeiten der Roboter aktuell aufrufen kann;
- die Guidance-Schnittstelle: Sie ermöglicht dem Agent, konkrete räumliche Hinweise, Objektreferenzen und feinkörnige sprachliche Anforderungen an die untere Aktionsausführung zu übermitteln;
- die Feedback-Schnittstelle: Sie ermöglicht dem Agent, in Echtzeit die tatsächliche physische Lage nach der Ausführung der Roboteraktionen zu erfahren;
- die Kontinuitätsschnittstelle: Sie ermöglicht dem System, den Aufgabenfortschritt und die Abhängigkeiten in der Aufgabenteilung einer Roboterflotte kontinuierlich zu verfolgen und dynamische Planung sowie die Fortsetzung von Aufgaben nach Unterbrechungen zu unterstützen.
Durch das EEP-Protokoll und in Verbindung mit Kooperationsentwürfen wie dem Temporal Alignment kann der obere Agent die Führung je nach Ausführungsergebnis jederzeit dynamisch anpassen; während die untere Basis-Aktionsstrategie (Action Policy) Aktionen präzise entsprechend der aktuellen Beobachtung und den Anforderungen des Agenten ausführt und Beobachtungen sowie Teilaufgabenstatus in Echtzeit zurückmeldet.
In verkörperten Intelligenzsystemen ist Selbstweiterentwicklung nur dann kein Luftschloss, wenn Reasoning, Ausführung und Feedback wirklich zu einer Einheit verschmelzen.。
Das EEP übernimmt genau die Schlüsselschnittstellenrolle in dieser Interaktionskette und legt das Fundament für die spätere Erfahrungssammlung und Strategieaktualisierung.
Nachdem das Fundament gefestigt ist, beginnt der „Selbstoptimierungs“-Alltag des Roboters im eingesetzten Zustand.
Im normalen Arbeitsablauf des Convenience-Stores, wenn der Roboter bestimmte Aufgaben entdeckt, die wiederholt fehlschlagen, instabil ausgeführt werden oder zu lange dauern – also eine „Fähigkeitslücke“ offenlegen –, bleibt der Agent nicht tatenlos.
Er nutzt aktiv die Leerlaufzeiten des Convenience-Stores, um für die Roboter „autonomes Zusatztraining“ für diese Schwachstellen zu organisieren.
Was geübt wird, wie geübt wird, ob die Ergebnisse nach dem Training die Anforderungen erfüllen und wie bei Anomalien wiederhergestellt und erneut versucht wird – all das organisiert der Agent komplett selbst. Die reale Einsatzumgebung liefert dem Roboter so kontinuierlich praktische Grundlagen dafür, „was als Nächstes geübt und was geändert werden sollte“.
Ein Weg sammelt Erfahrungen, der andere Weg aktualisiert die Aktionsstrategie
Da „Probleme entdecken“ und „autonomes Zusatztraining“ bereits in realen Szenarien organisiert sind – wie verwandelt der Roboter die Trainingsergebnisse nun in echte eigene Fähigkeiten?
Hier verfolgt Genie Master eine „doppelgleisige“ Strategie.
Ein Weg heißtHarness RSIund ist für die Erfahrungssammlung zuständig; der andere Weg heißtPolicy RSIund ist für die Aktualisierung der Aktionsstrategie zuständig.
Zunächst betrachten wirHarness RSI。
Seine Kernlogik besteht darin, dass die Modellgewichte und bestehenden Tool-Schnittstellen unverändert bleiben und die Aufgabenleistung in nachfolgenden Durchläufen hauptsächlich durch die Optimierung von Prompts, Memory und Ausführungsregeln verbessert wird.
Während der täglichen Inferenzausführung hält der Roboter erfolgreiche und fehlgeschlagene Beispiele „bei der Ausführung direkt fest“; anschließend werden diese Ausführungsprotokolle durch tägliche asynchrone Reflexion und Speicherkonsolidierung in wirksamere Anleitungen, Abschlusskriterien, Ausnahmewiederherstellungs- und Kooperationsregeln umgewandelt – ähnlich wie ein „Fehlerheft“ – und ins Langzeitgedächtnis aufgenommen, um sie später je nach Aufgabe und Szenario schrittweise zu laden.
Blickt man auf den Fall vom „Einräumen der Ware im Convenience-Store“ am Anfang des Artikels zurück, so handelt es sich dabei tatsächlich um die Wirkung von Harness RSI.
Anfangs war die Erfolgsquote dieser kleinen Haken-Aufgabe sehr niedrig. Doch der Agent diagnostizierte nach der Rückverfolgung der Fehlerprotokolle die Ursache: „Die Auflösung des Kopfkameras war unzureichend, und zusammen mit der Verdeckung durch Preisschilder konnte der Roboter die Position der kleinformatigen Haken nicht genau erkennen.“
Daraufhin schrieb der Agent die neue Lösung „zuerst mit der linken Handgelenkkamera näher herangehen, um die Sicht zu ergänzen, und erst nach der Bestätigung mit der rechten Hand die Ware aufhängen“ in ausführbares Erfahrungswissen ein; bei ähnlichen Situationen kann diese Erfahrung künftig direkt abgerufen und souverän angewendet werden.
Neben dem „Fehlerheft“ müssen manche Fähigkeiten, um den strengen Anforderungen echter Roboterdeployments an niedrige Latenz und hohe Stabilität gerecht zu werden, zum „Muskelgedächtnis“ des Roboters werden.
Hier kommtPolicy RSIins Spiel.
Policy RSI sammelt und ordnet sämtliche Daten, die während der autonomen Ausführung des Roboters, bei Demonstrationen durch menschliche Übernahme sowie bei der Wiederherstellung nach Ausnahmen anfallen, verbessert deren Qualität durch Filterung, Gewichtung und Ziel-Relabeling und aktualisiert anschließend mittels überwachtem Lernen, Imitationslernen oder bestärkendem Lernen direkt das zugrundeliegende Aktionsrichtlinienmodell (Action Policy), sodass die Verbesserung tatsächlich in den Modellparametern erhalten bleibt.
Angenommen, der Roboter führt im Laden die Aufgabe „auswickelsicheres Verpacken von Lieferessen“ aus: Dann können die bei der Behandlung verworrener Tragegriffe, beim Rückzug und bei der Ausnahmewiederherstellung erzeugten Daten nach Filterung und Verarbeitung für das spätere Training der Aktionsrichtlinie genutzt werden, um die Ausführungsleistung des Modells bei ähnlichen Aufgaben zu verbessern.
Durch Policy RSI kann der Roboter aus seinen realen Ausführungserfahrungen schöpfen und eine stabilere Ausführung sowie eine präzisere Befehlsbefolgung erlangen.
Zu beachten ist: Das heißt nicht, dass menschliche Beteiligung künftig völlig entfällt. Policy RSI nutzt weiterhin Daten wie menschliche Übernahme-Demonstrationen, und die Aktualisierung der Aktionspolitik erfordert zudem Datenverarbeitung und Modelltraining.
Noch eleganter ist,dass diese beiden Linien nicht isoliert voneinander agieren, sondern ineinandergreifen und ein sich immer schneller drehendes Schwungrad bilden.——
Harness RSI ist für das Sammeln und Organisieren von Erfahrungen zuständig: Es hilft dem System, Fehlerursachen zu analysieren, Übungsformen auszuwählen und spätere Ausführungen zu verbessern.
Policy RSI wiederum verwendet die verarbeiteten Ausführungsdaten für das Training der Aktionspolitik, sodass wirksame Erfahrungen die Chance haben, sich als stabilere Handlungsfähigkeit zu sedimentieren.
Die beiden Linien fördern sich gegenseitig und bilden einen geschlossenen Kreislauf von realer Geschäftsausführung, Erkennung von Fähigkeitslücken, autonomem Üben bis hin zur Erfahrungsspeicherung und Politikaktualisierung. Zhiyuan hofft, dadurch zu erreichen, dass die in jeder Runde gesammelten Erfahrungen dem System helfen, Probleme effektiver zu diagnostizieren, Übungen auszuwählen und Daten zu nutzen.
die Fähigkeit zur Fähigkeitssteigerung selbst kontinuierlich weiterzuentwickeln,，bei gleichem Aufwand einen größeren Fähigkeitszuwachs zu erzielen —genau darin liegt die wahre Kraft der „rekursiven Selbstevolution (RSI)“.
Vom „ab Werk unveränderlichen“ Zustand hin zu „immer leistungsfähiger mit der Arbeit“
Löst man sich vom Convenience Store und betrachtet die gesamte Branche der verkörperten Intelligenz, so öffnet die Richtung, die Zhiyuan mit Genie Master erkundet, eine neue Tür.
Zunächst, bei der Effizienz in Forschung und Entwicklung,durchbricht der Ansatz endgültig das bisherige Korsett, wonach Robotfähigkeiten „ab Werk unveränderlich“ sind, und wendet sich einem neuen Paradigma zu: dem kontinuierlichen Wachstum während der Bereitstellung.
Wenn KI-Lösungen vor Ort von selbst zu neuen Fähigkeiten des Roboters heranwachsen, lässt sich der Lieferzyklus von der Kundenanforderung bis zur Beherrschung der neuen Fähigkeit durch den Roboter drastisch verkürzen.
Zweitens, bei der kommerziellen Umsetzung,rechnet sich damit auch wirtschaftlich alles sauber auf.
Wenn der Roboter in der realen Arbeit „immer leistungsfähiger wird“, wächst dieselbe Fähigkeitssuite mit jeder Bereitstellung weiter an.
Bei künftiger Replikation auf weitere Filialen und branchenübergreifende Szenarien werden die Grenzkosten nachfolgender Bereitstellungen und Entwicklungen kontinuierlich sinken.
Und diese stetig sinkende Kostenkurve ist die zentrale Voraussetzung dafür, dass verkörperte Intelligenz zur großangelegten kommerziellen Umsetzung gelangt.
Blickt man auf die seit dem 22. Oktober laufende Veröffentlichungsserie „AI WAVE“ von Zhiyuan zurück, so nimmt Genie Master als vierter Bestandteil dieser Serie in der Gesamtkonzeption der Full-Stack Embodied AI von Zhiyuan eine Schlüsselrolle als Bindeglied ein — es führt das zugrunde liegende Basismodell und die Full-Stack-KI-Fähigkeiten bis in den realen kommerziellen Bereitstellungszustand und verankert sie dort.
Freilich: So glänzend die technische Architektur auch beschrieben wird — am Ende muss die Leistung im Praxiseinsatz sprechen.
Wie das Sprichwort sagt: Ob Maultier oder Pferd, das zeigt sich beim Ausführen.
Am 2. Novemberplant Zhiyuan, einen von dem gesamten Netz verfolgten „24-Stunden-Livestream aus dem Convenience Store“ zu starten.
Dann werden 6 Genie-G2-Roboter im Dauereinsatz stehen und in einem realen, ohne Drehbuch ablaufenden Convenience-Store-Betrieb eine strenge Probezeit-Prüfung absolvieren.