IT之家 Meldung vom 21. Oktober: Nvidia gab auf der GTC-Konferenz in Berlin am 21. Oktober Ortszeit die Erweiterung der offenen Robotik-Entwicklungsplattform Isaac bekannt, mit neuen Referenzplattformen für humanoide Roboter, einem Runtime-Framework, Simulations-Assets und Datensätzen sowie aktualisierten Tools für das Roboterlernen, die den gesamten Entwicklungsprozess von der Generierung von Trainingsdaten über das Simulationstraining bis zur physischen Roboter-Implementierung abdecken.
Im Bereich Hardware stellte Nvidia gemeinsam mit Agile Robots die Referenzplattform für humanoide Roboter Agile ONE SN vor, deren Markteinführung für Anfang 2027 geplant ist.
Die Plattform ist mit Nvidias Isaac GR00T vorkonfiguriert und mit der Jetson Thor Rechenplattform ausgestattet und richtet sich in erster Linie an die Robotik-Forschung und -Entwicklung. Durch die Integration von Simulations-, Trainings- und Deployment-Tools kann die Vorlaufzeit für die Konfiguration entsprechender Umgebungen laut Agile Robots von mehreren Wochen auf wenige Tage verkürzt werden.
Nvidias Gründer und CEO Jensen Huang erklärte, die allgemeine Robotik entwickle sich rasant, und der „ChatGPT-Moment“ der Robotik rücke schneller näher. Nvidia erklärte, das Ziel dieses Updates sei es, Entwicklern Modelle, Daten, Simulationswerkzeuge und Rechensysteme bereitzustellen, damit sie allgemeine Robotik in realen Industrieszenarien einsetzen können.
Der Agile ONE SN von Agile Robots basiert auf dem humanoiden Roboter Agile ONE S, ist 1,4 Meter groß und 40 Kilogramm schwer, verfügt über 31 Freiheitsgrade und eine Einarm-Nutzlast von 3 Kilogramm. Er ist mit zwei fünffingrigen WUJI Hand 2 Dexteritätshänden ausgestattet, die jeweils 20 Freiheitsgrade besitzen und 1kHz-Kraftregelung sowie taktile Wahrnehmung unterstützen. Zu beachten ist, dass Reuters das Gewicht des Roboters mit etwa 34 Kilogramm angab, was von den offiziell von Nvidia genannten 40 Kilogramm abweicht; die bisherigen Informationen reichen nicht aus, um die Ursache dieser Abweichung zu bestätigen.
Im Bereich Rechenleistung ist der Agile ONE SN mit Nvidias Jetson Thor ausgestattet und bietet 2070 TFLOPS FP4-Rechenleistung sowie 128GB einheitlichen Speicher. Zu den Sensoren gehören Kopf- und Handgelenkkameras, Lidar und eine Trägheitsmesseinheit, um die Umgebung wahrzunehmen und die Interaktion des Roboters mit der äußeren Umgebung zu unterstützen.
Im Bereich Sicherheit plant die Plattform, die roboterseitigen Sicherheitsprotokolle in Nvidias Halos Full-Stack-Sicherheitssystem zu integrieren; diese Integration steht derzeit noch aus. Nvidia erklärte, dass Forschungseinrichtungen wie die Stanford University und die ETH Zürich bereits Interesse am Agile ONE SN bekundet haben.
Reuters berichtete außerdem, dass Agile Robots plant, bis 2027 gemeinsam mit Nvidia bis zu 2000 humanoide Roboter zu produzieren, die an Kunden wie Universitäten und Forschungslabore von Unternehmen gerichtet sind.
Im Bereich Software wurde Nvidias Isaac Lab 3.0 offiziell veröffentlicht; als Open-Source-Framework für das Roboterlernen unterstützt es Multi-GPU-Trainings-Workflows und kann Physik-Engines wie Newton und PhysX nutzen. Das Framework soll Entwicklern helfen, Roboterstrategien zu trainieren und zu optimieren, und deckt verschiedene Rechenumgebungen vom Desktop-Workstation bis zum Rechenzentrum ab.
IT之家 bemerkte, dass Nvidia zudem das Open-Source-Runtime-Framework Isaac OS vorstellte. Das Framework basiert auf Holoscan, verbindet KI-Modelle, Sensoren, Steuerungssysteme und Roboterhardware, unterstützt die Migration von Simulationsumgebungen zu physischen Robotern und bietet deterministische Echtzeit-Ausführungsfähigkeiten.
Für den DGX Station veröffentlichte Nvidia gleichzeitig drei Open-Source-Referenz-Workflows. Der erste optimiert das GR00T 1.7 Modell durch bestärkendes Lernen; der zweite nutzt Isaac Lab, um Geschicklichkeitsfähigkeiten in der Manipulation zu trainieren; der dritte wiederum nutzt ChatGPT Astra, um das Cosmos-Weltmodell nachzutrainieren und synthetische Trainingsdaten zu erzeugen. Diese Workflows sollen Entwicklern helfen, Roboterlernen, Simulation und Datengenerierung zu integrieren.
Im Bereich Daten bietet die SimReady Central Library über 2000 simulationstaugliche Roboter- und Fabrik-Assets, die eine Vielzahl von Roboterausrüstungen und Ressourcen für industrielle Szenarien umfassen. Der Human 1M Datensatz enthält多种 menschliche Aktivitäten, synchronisierte Videos aus drei Blickwinkeln und 3D-Hand-Tracking-Daten und kann für das Roboterlernen und Bewegungsverständnis genutzt werden. Beide Ressourcen werden über Hugging Face bereitgestellt, wobei die vollständige Version des Human 1M Datensatzes ausschließlich Cosmos-Coalition-Partnern zugänglich ist.
Nvidia stellte zudem mehrere Unternehmen vor, die seine Robotik-Entwicklungstools einsetzen. ABB Robotics integriert die Omniverse-Bibliothek in RobotStudio HyperReality, um Simulationen und virtuelle Inbetriebnahme vor der Installation von Robotersystemen durchzuführen; NEURA Robotics nutzt Isaac Sim und Isaac Lab, um synthetische Trainingsdaten zu erzeugen und Roboterfähigkeiten in Simulationsumgebungen zu trainieren. Nvidia erklärte, dass auch Unternehmen wie KUKA, Humanoid, Sereact und Universal Robots Technologien im Zusammenhang mit seiner offenen Robotik-Plattform einsetzen.