Simulationen, die lange als Erprobungsfeld für Roboter dienten, die laufen, rollen und hüpfen lernen, helfen Forschern nun dabei, Robotern Aufgaben beizubringen, die ein feineres Gespür erfordern: Zahnräder ausrichten, Kabel verbinden und kleine Komponenten zusammenbauen.
Der Wandel von der Fortbewegung zur Manipulation steht diese Woche im Mittelpunkt der Conference on Robot Learning (CoRL) in Austin, Texas, neben dem Aufstieg der agentischen Robotik – einem neuen Paradigma, das Frontier-Agente integriert, um interpretierbaren Code für physische Robotersysteme zu erstellen.
Bei CoRL stellt NVIDIA neue offene Robotik-Technologien vor, darunter World Action Models, Simulationstools, Benchmarks und agentische Workflows.
Zwei NVIDIA-Paper gehören von tausenden Einreichungen zu den sechs Finalisten für die Best Paper Awards bei CoRL:
- GRAIL (Generating Humanoid Loco-Manipulation from World Models), das eine digitale Generierungspipeline für 3D-Assets und simulationsbereite Szenen für das Robotlernen vorstellt.
- RoboTTT: Context Scaling for Robot Policies, das ein Robotermodell und eine Trainingsrezeptur einführt, die den visuomotorischen Kontext um drei Größenordnungen über den Stand der Technik hinaus skaliert, ohne die Inferenzlatenz zu erhöhen.
Diese Fortschritte helfen Forschern, Roboter für komplexe Aufgaben zu trainieren, ihre Leistung unter wechselnden Bedingungen zu bewerten und Fehler zur weiteren Steuerung des Lernens zu nutzen – und damit die Präzision, Anpassungsfähigkeit und Autonomie aufzubauen, die nötig sind, um von Labor-Demonstrationen zum industriellen Einsatz zu gelangen.
NVIDIA arbeitet mit Partnern wie Ambi Robotics, Bosch Research, Dexmate, Dyna Robotics, FieldAI, Flexion, Noitom Robotics, Siemens, Skild AI, RLWRLD, UC Berkeley, Walden Robotics und der University of Washington zusammen, um diese Fortschritte der breiteren Robotik-Community zugänglich zu machen.
World Action Models ermöglichen die nächste Stufe der Roboter-Autonomie
Die nächste Stufe der Roboter-Autonomie erfordert, dass Roboter ihre Umgebung wahrnehmen, vorhersehen, wie ihre Handlungen die Umgebung verändern, und komplexe mehrstufige Aufgaben mit hoher Präzision ausführen. Genau das ermöglichen World Action Models.
Bei CoRL stellt NVIDIA GR00T 2vor, ein offenes Frontier-World-Action-Model, das auf NVIDIA Cosmos aufbaut. Trainiert mit vielfältigen Roboter- und Menschendaten, darunter 100,000 Stunden NVIDIA open source human egocentric data, ermöglicht das Modell Robotern das Erlenen geschickter Manipulationsfähigkeiten. Zu den wichtigsten Merkmalen gehören:
- Leistung ab Werk: Schaffte 40 von 50 bewerteten Aufgaben mindestens einmal ohne aufgabenspezifische Demonstrationen.
- Fähigkeitsübertragung: Lernt aus menschlichen Demonstrationen und überträgt Fähigkeiten zwischen verschiedenen Roboterkörpern ohne Roboter-Demonstrationen
- Generalisierung mit wenigen Daten: Erreichte durchschnittlich 71% Erfolg über 50 Aufgaben hinweg mit nur einer Demonstration pro Aufgabe, steigend auf 95% mit fünf.
- Agentensteuerung: KI-Agenten können die Anwendungsschnittstelle von GR00T 2 sowie unterstützende Tools nutzen, um Fähigkeiten in Sequenz auszuführen und sich von Fehlern zu erholen.
GR00T 2 rangiert derzeit in allen Kategorien für Vision-Language-Action- und World-Action-Modelle bei den Benchmarks RoboCasa365, RoboLab, RoboDojo und MolmoSpaces unter den besten drei Modellen, mit mehreren Spitzenplätzen auf den Leaderboards.
Nexuni testet es für die robotergestützte Wäschereibehandlung, Foxconn wendet GR00T 2 für Fabrikautomation in der Serverfertigung an, und Siemens evaluiert es für industrielle Anwendungsfälle.
MicroAGI verwendet GR00T 2, durch bestärkendes Lernen nachtrainiert, um das Wechseln von Ethernet-Kabeln mit einem YAM-Roboterarm durchzuführen. Sein agentic-robotics-Ansatz automatisiert die Erstellung und Kalibrierung von Simulationsumgebungen mit Isaac Lab 3.0 und Newton, wo die Policy trainiert wird. Der agentic-robotics-Workflow wird auf der CoRL demonstriert.
Das Training leistungsfähiger Roboter erfordert vielfältige Daten. Offene NVIDIA-Workflows und Modelle statt Forscher mit besseren Tools für Datenerfassung und -annotation aus:
- Für Forscher, die Datensätze zum Robotentraining erstellen, verwandelt NVIDIAS neuer offener Video-to-Data-Workflow menschliches Video in simulierte Roboter-Demonstrationen, mit einer Challenge , die Forscher zur Weiterentwicklung einlädt.
- Das offene NVIDIA-Modell EgoHand – auf der CoRL demonstriert und mit über 40,000 Downloads auf Hugging Face in den zwei Wochen seit dem Launch – rekonstruiert 3D-Handbewegungen und wurde mit Daten von Noitom Robotics trainiert.
Wo das Training und die Skalierung stattfinden — in der Simulation
Ein vortrainiertes Modell verleiht Robotern einen Kernsatz an Fähigkeiten. Simulation ermöglicht es Forschern, Fähigkeiten im großen Maßstab zu trainieren, zu verfeinern und zu bewerten, bevor sie auf physischen Robotern eingesetzt werden.
NVIDIA Isaac Lab, ein Open-Source-Framework für robotisches Lernen, bildet die Grundlage für diese Arbeit. Sein neuestes Release, Isaac Lab 3.0, ermöglicht es Forschern, mit Agenten schnell Trainingsumgebungen mit simulationsfähigen Assetseinzurichten, zwischen NVIDIA PhysX und Newton-Physik-Solvernzu wechseln, Renderer für wahrnehmungsbasiertes Training zu wählen und eine neue Bibliothek für Verstärkungs-Post-Training auf Foundation-Modelle wie GR00T anzuwenden.
Präzise Physik ist entscheidend, um gelernte Fähigkeiten von der Simulation auf den realen Roboter zu übertragen. Eine engere Integration mit Newton, einer Open-Source-Physik-Engine, erlaubt es Isaac Lab nun, verformbare Objekte wie Kabel und Stoff zu modellieren, sowie komplexe artikulierte Systeme wie Roboterhände mit vielen interagierenden Gelenken.
Die Integration mit Newton simuliert, wie sich eine Erdbeere unter dem Griff eines Roboters verformt.
Zusammen vereinen Isaac Lab und Newton präzise Physik mit Skalierung, um Forschern das Training Tausender simulierter Roboter parallel zu ermöglichen. In einem visionsbasierten Benchmark für Geschicklichkeitsmanipulation erzielte Isaac Lab 3.0 mit Newton bis zu 2,5-fachen Trainingsdurchsatz im Vergleich zu Isaac Lab 2.3 mit PhysX.
Isaac Lab unterstützt Robotersimulation mit Newton und NVIDIA PhysX.
Entwickler erweitern Newtons Fähigkeiten. Auf der CoRL kündigte Skild AI die Scalable Throughput-optimized Engine for Embodied Learning, kurz STEEL, an – einen neuen Solver für Starrkörperphysik, der auf Newton aufbaut und das Robot Training mit Isaac Lab beschleunigt.
Skild AIs STEEL-Solver.
Flexion zeigte, wie Isaac Lab und Newton dabei helfen, Reflect zu trainieren, sein Modell für Roboterintelligenz, das Schlussfolgern und Ganzkörpermanipulation kombiniert.
Flexion nutzt Newton für RL mit Isaac Lab.
FieldAI nutzt Newton – ebenso wie Isaac Lab und Isaac Sim, die auf NVIDIA-Omniverse-Bibliotheken aufbauen – um Roboterrichtlinien für den Einsatz in unstrukturierten Umgebungen der realen Welt zu trainieren und zu validieren. Dyna Robotics wird demonstrieren, wie parallele Simulation in Isaac Lab beim Training von Ganzkörper-Reglern für seinen semi-humanoiden Roboter Taku für den Einsatz in Lagerhäusern, Hotels und dem Lebensmitteleinzelhandel hilft.
Walden Robotics nutzt Isaac Sims fotorealistisches Rendering, um seinen Allzweck-Roboter in virtuellen Umgebungen für Fertigung und Logistik zu trainieren und zu evaluieren, während Dexmate erforscht, wie Coding-Agenten Manipulationsstrategien in Isaac Sim einüben und verfeinern können, bevor sie auf seinem Vega-Roboter ausgeführt werden.
AlphaNIST, aufgebaut in Isaac Lab, zeigt, wie effizientes Üben in Präzision umgesetzt werden kann. Eine einzelne Richtlinie lernt alle 20 Aufgaben auf dem NIST Assembly Task Board und manipuliert millimetergroße Teile nur anhand eines Ja-oder-Nein-Erfolgssignals. Sie erreicht mehr als 98 % Trainingserfolg, verglichen mit 81 % für getrennte Richtlinien pro Aufgabe, und benötigt dafür rund 39-fach weniger GPU-Zeit.
AlphaNIST nutzt Isaac Lab, um eine einzelne Roboterichtlinie über 20 Präzisionsaufgaben auf dem NIST Assembly Task Board zu trainieren.
Hinter diesen Ergebnissen steht Success-Guided Sampling, oder SGS, von der University of Washington und NVIDIA. Die Methode konzentriert das Training auf Aufgaben, bei denen eine Policy etwa in der Hälfte der Fälle erfolgreich ist, und richtet das Training auf Fähigkeiten, die sie noch erlernt. Mit SGS kann das Roboterverhalten-Training über eine Million paralleler Umgebungen hinaus skaliert werden.
Die School of Computing und Texas Robotics der University of Texas at Austin nutzen Isaac Sim und Isaac Lab, um robotische Fähigkeiten in der Simulation zu trainieren, sodass Studierende bereits entwickeln können, bevor physische Hardware verfügbar ist.
Neue industrielle Benchmarks zur Roboterevaluation
Eine Fähigkeit zu erlernen ist eine Herausforderung. Sie zuverlässig unter wechselnden Bedingungen auszuführen, ist eine andere.
NVIDIA Isaac Lab-Arena, ein Open-Source-Framework für skalierte Policy-Evaluation, ermöglicht Entwicklern, vielfältige und wiederholbare Evaluationen zusammenzustellen und dann Policies parallel über tausende Variationen hinweg auszuführen. Analysen zeigen, welche Bedingungen zu Fehlern führen, sodass Forschende wissen, was sie im nächsten Trainingslauf beheben müssen. Die Entwicklervorschau der neuesten Version, 0.4, wird auf der CoRL vorgestellt.
DexBench und VABAR, zwei neue offene Benchmarks, gehören zu den ersten, die darauf ausgelegt sind, die Geschicklichkeit und Anpassungsfähigkeit von Robotern bei industriellen Aufgaben mithilfe von Isaac Lab-Arena und Newton zu messen.
DexBench, entwickelt von RLWRLD in Zusammenarbeit mit NVIDIA, verlagert die Geschicklichkeitsevaluation vom Tischtop in reale Arbeitsabläufe. Es wurde mit NVIDIA Isaac Lab-Arena aufgebaut und umfasst 15 Aufgaben in vier Szenen aus den Bereichen Einzelhandel, Logistik, Fertigung und Gastronomie und testet die Generalisierung über Objekt-, Raum- und Physikvariationen hinweg.
Genesis AI, Mimic Robotics und andere Industriepartner evaluieren DexBench im Rahmen eines Early Access.
Teams können DexBench auf Manifold, Bifrosts Evaluierungsplattform für die Skalierung von Robotersimulationen, ausführen – ohne Einrichtung, mit integrierter Fehleranalyse und kostenlosen Credits für erste Evaluierungen.
VABAR — das Variational Automation Benchmark for Agentic Robotics — von der UC Berkeley und NVIDIA bewertet Roboter in sechs industriellen Aufgaben. Jede davon enthält standardisierte Variationen, Schwierigkeitsstufen und Erfolgsmetriken.
Eine simulierte Werkzeug-Sortieraufgabe zeigt, wie VABAR die Manipulationsfähigkeiten von Robotern für industrielle Workflows bewertet.
Agenten machen aus Fähigkeiten Roboterprogramme
Eine erfolgreiche Aufgabenerledigung erfordert, dass Roboter mehrere Fähigkeiten koordinieren und sich anpassen, wenn etwas schiefgeht. Zuverlässige Programme für diese mehrstufigen Aufgaben zu erstellen, bleibt eine Herausforderung.
Agentische Robotik hilft, diese Herausforderung zu lösen.
UC Berkeleys neues Graph-as-Policy (GaP)-Framework nutzt Agenten, um einzelne Fähigkeiten zu Roboterprogrammen zu verbinden. Agenten testen diese Programme mithilfe der offenen Simulationstechnologien von NVIDIA Isaac und verfeinern sie anhand von Fehlern. Dies hilft Forschern, die Entwicklung mit weniger Daten zu skalieren, während die Programme für Ingenieure verständlich bleiben, um sie vor dem Einsatz zu überprüfen und zu verifizieren.
GaP nutzt Agenten und Simulation, um einzelne Roboterfähigkeiten in koordinierte Aktionen zu verwandeln, etwa das Wischen einer Stange.
„Für mich ist agentische Robotik die aufregendste technologische Entwicklung seit dem Internet 1995“, sagte Ken Goldberg, Professor für Robotik an der UC Berkeley und Leiter der Projekte VABAR und GaP.
Ambi Robotics, Bosch Research und Siemens erforschen GaP alle für seine agentischen Robotik-Workflows in vielfältigen industriellen Szenarien.
Erfahren Sie mehr, indem Sie NVIDIA auf der CoRL besuchen.