Die Umsetzung einer Simulation-Idee in eine funktionierende Anwendung bedeutet, Assets zusammenzustellen, Physik und Rendering zu verbinden sowie sicherzustellen, dass die Szene so verhältnismäßig ist, wie es beabsichtigt ist. Entwickler kombinieren Frontier-AI-Modelle mit den NVIDIA Omniverse-Bibliotheken, um diese Arbeit zu erledigen – indem sie Anwendungen erstellen, mit denen Szenarien erkundet, Fehler untersucht und Designs verbessert werden können.
Entwickler leiten AI-Agenten durch natürliche Sprachanweisungen, überprüfen die Ergebnisse und leiten Änderungen vor. Die Omniverse-Bibliotheken bieten GPU-verstärkte Physik-, Render- und Sensor-Simulationsfunktionen.
Erkunden Sie die unten aufgeführten Projekte, um AI-Modelle wie GPT-6 Astra in Action zu sehen, und besuchen Sie wiederholt neue Beispiele von Teams und Entwicklern bei NVIDIA sowie im gesamten Ökosystem.
Erstellen Sie einen Humanoid-Simulator für eine Lagerumgebung
Erkunden Sie eine gamifizierte, physikalisch basierte Steuerung eines humanoiden Roboters aus der ersten und dritten Perspektive.
Bevor die Lageraufgaben automatisiert werden, benötigen Entwickler eine interaktive Simulationumgebung, um das Verhalten der Aufgaben zu untersuchen und zu bewerten, wie die Arbeit erledigt wird. Frank DeLise, Produktmanager von Omniverse bei NVIDIA, verwendete Astra, um ein SimReady-Lager und einen humanoiden Roboter in einen interaktiven Simulator mit Erst- und Dritter-Person-Ansicht zu verwandeln.
DeLise leitete Astra dazu, die NVIDIA Omniverse-Bibliotheken für Physik (ovphysx), Szeniumanpassungen (ovstage), Rendering (ovrtx) und die Benutzeroberfläche (ovui) zu verbinden. Er verwendete auch Astra mit SimReady (simready-foundation), um die physische Szene in der Simulation zu erstellen. Anschließend generierte Astra Animationen und Anwendungscode, um diese Funktionen zusammen zu bringen.
Lernen Sie wie man SimReady-Roboter-Assets mit Frontier AI-Modellen und NVIDIA Omniverse-Bibliotheken vorbereitet und validiert zu machen.
Verbinden eines Workflows für den Test von autonomen Fahrten
Die Änderung einer Szene, eines Sensors oder eines Fahrzeugmodells kann die Simulationen von autonomen Fahrzeugen erheblich beeinflussen. Doyub Kim, ein Teamleiter für Simulationstechnologie bei NVIDIA, bat Astra, eine wiederverwendbare Simulationumgebung namens Zero to Alpamayo zu entwickeln, die auf Market Street in San Francisco basiert.
Kim befahl Astra, den Arbeitsablauf zu planen, dann die Erstellung von Assets, den Traffic sowie die Omniverse RTX-Sensor-Simulation und das Alpamayo-Fahren schrittweise zu verbinden und jede Integration zu überprüfen. Das entstandene Prototyp diente als Testgrundlage, um Modelle zu vergleichen und herauszufinden, wie Veränderungen im Szenario oder bei den Sensoren das Fahrverhalten beeinflussen. Ein separater Cosmos3-Nano-Experiment variierte Wetter und Beleuchtung in aufgezeichneten Simulation-Videos, sodass Kim die Reaktionen des Fahrmodells unter verschiedenen Bedingungen vergleichen konnte.
Verwenden Sie Sensorunterschiede, um Digital Twins zu erstellen und zu verbessern
Die Vergleichung der aufgezeichneten und simulierten Kameras- und Lidar-Ergebnisse liefert Entwicklern Feedback auf Basis von Leistungsindikatoren, um eine Szene zu verbessern.
Um Roboter und autonome Fahrzeuge zu testen, müssen Entwickler wissen, wie genau die simulierten Sensoren den realen entsprechen. Ashley Reid, die an der Validierung des RTX-Sensors bei NVIDIA arbeitet, leitete die Astra- und Claude Fable 5-Agenten dazu an, zu vergleichen. ovrtx Kamera- und Roh-LiDAR-Ausgaben mit aufgezeichneten Daten. Die Agenten haben zwei digitale Zwillinge von Grund auf erstellt und zwei bestehende verbessert.
Über etwa drei Tage leitete Reid einen iterativen Workflow, bei dem die Agenten Unterschiede messten, OpenUSD-Szenen erstellen oder modifizieren und die Ergebnisse überprüften. Die Änderungen bezogen sich auf fehlende Objekte, Geometrie und Materialien, wobei die Akzeptanz an den Kameramessungen und den LiDAR-Daten beruhte. Dies bietet Entwicklern eine Möglichkeit, die gemessenen Unterschiede zu nutzen, um die Szenen-Erstellung und -Verbesserung zu steuern.
Beginnen Sie damit, eine OpenUSD-Szene mit dem ovrtx minimalen Python-Beispiel zu rendern, und definieren Sie anschließend eine Sensormessung, mit der das aufgezeichnete Datenmaterial verglichen werden kann.
Robo Olympics: Testen von Robotfähigkeiten mit Simulation
Roboter zu neuen Bewegungen zu lehren bedeutet, zu überprüfen, ob diese Handlungen unter physikalischen Einschränkungen funktionieren. Tae Kim, der die Entwicklung und den Vertrieb von NVIDIA Omniverse leitet, verwendete Sportvideos und natürliche Sprache, um Astra bei der Erstellung von Robo Olympics zu helfen – einem experimentellen Projekt, bei dem simulierte Unitree G1-Humanoids sportliche Bewegungen ausführen.
Unter Kims Leitung baute Astra Kontrollgeräte und verbesserte sie durch Physiktests. Newton-Physik-Erbe Simulierte Verhalten, Open Source NVIDIA Warp Framework beschleunigt die Berechnungen ovrtx Gerenderte Szenen und virtuelle-Kamerabilder. In einem Experiment überwand der Roboter in 64 von 100 Simulationstests einen einzigen Hindernis. Die Tests ließen Kim Feedback für die Verbesserung des Zeitmanagements und des Kontrollsystems des Roboters erhalten.
Sehen Sie Kimerkunden Sie Baumsimulationen mit den Astra- und NVIDIA Omniverse-Bibliotheken.
Testen der Roboterzerlegung mit Computerunterstützter Entwicklung und Simulation
Bevor ein Roboter ein Produkt zerlegen kann, müssen Entwickler wissen, ob seine Werkzeuge die Teile erreichen und entfernen können. Jens Jebens, ein leitender Produktmanager für OpenUSD bei NVIDIA, leitete Astra, damit das Auto-Suspensionmodell in PTC Onshape erstellt und in NVIDIA Isaac Sim konfiguriert wird.
Mit Astra untersuchte Jebens Computer-Assistierte-Design und die Überarbeitung von Werkzeugen für Roboter, die durch Simulationen informiert wurden. Der Agent maß den verfügbaren Raum und entwarf einen Schraubenschlüssel, den der Roboter verwenden konnte, um an die Bolzen der Aufhängung zu gelangen. Jebens berichtete über den erfolgreichen Entfernen eines Aufhängungskomponenten in der Simulation. Dies verbindet Design- und Werkzeugentscheidungen mit den Demontierungsergebnissen und bietet einen Ausgangspunkt für die Robotik-Policy-Training.
Erkunden Sie denOnshape Importer-Guide.
Führen Sie die Internationale Raumstation in den Browser ein
Um 3D-Modelle in eine Anwendung zu verwandeln, ist es notwendig, Assets, Live-Daten und eine Schnittstelle zu verbinden. Nic Johns, ein Engineering-Direktor bei NVIDIA, forderte Astra auf, NASA-Assets in ein OpenUSD-Modell der Internationalen Raumstation mit Telemetrie zu zusammensetzen. Johns baute die Anwendung mit einem einzigen Befehl auf, dann verwendete er einen weiteren Befehl, um die Szene auf die Tagseite der Erde zu verschieben, sodass der Planet sichtbar war.
Der Workflow verwendete Blender für die Vorbereitung der Assets und Omniverse-Bibliotheken für das Rendern (ovrtx), den Szenen-Startvorgang (ovstage) und das Streamen (ovstream). Das Programm bringt 3D-Modelle und operative Daten ins Browser, wobei Johns die Entwicklung durch Anweisungen und Korrekturen leitet.
Probieren Sie die Omniverse Real-Time Viewer-Fähigkeit.
Verwandeln Sie erfasste Räume in Testumgebungen
Eine digital rekonstruierte Räumlichkeit benötigt einsatzfähige Objekte und genaues physisches Verhalten, bevor Entwickler Interaktionen testen können. Chirag Majithia von der Isaac Engineering Applications-Team bei NVIDIA leitete Astra dazu, die von den Stereokameras erfassten Bilder in ein einsatzfähiges OpenUSD Studio zu überführen.
Der Workflow kombiniert PyCuSFM, FoundationStereo und nvblox zur Rekonstruktion, wobei die Benutzerbewertung die Auswahl und Anordnung der Objekte leitet. Astra sammelt generierte und von Blender erstellte Assets und verwendet USD Content Agents, um zu bestimmen, wie die Objekte in der Simulation bewegen und interagieren. Isaac Sim testet die Kollisionen und Kontakte für Türen und Schubladen. Das Studio verbindet die erfasste Geometrie mit den Interaktionstests, wodurch Lücken und das Verhalten der Objekte leichter zu überprüfen sind.
Erkunden die USD Content Agents.
Hast du eine Simulation-Idee? Erkunden Sie sie. NVIDIA Omniverse-Bibliotheken, um mit einem AI-Agent zu arbeiten.