NVIDIA Cosmos bringt neue Tools zur Ausbildung, Bewertung und Implementierung von Weltmodellen heraus

Um Entwicklern zu helfen, schnell Weltmodelle zu erstellen, die dabei helfen, physische KI-Systeme, die die reale Welt verstehen und simulieren können, hat NVIDIA die Cosmos-Plattform mit neuen Trainingswerkzeugen, Simulation-Checkspots und Cosmos Data Factory-Blueprints erweitert.

Die NVIDIA Cosmos-Plattform steht auf sechs verschiedenen offenen-Modell-Leistungsskalen in den Top-Fünf und bietet den Weltmodellbauern die neuesten offenen Modelle – sowie Tools und Rezepte für Daten, Training und Optimierung – um das Trainingsdatenset zu erweitern, die Modelle anzupassen, das Verhalten zu testen und die Leistung vor der Bereitstellung zu optimieren.

Bauen Sie bessere Trainingsdaten

Die Erstellung von Weltmodellen beginnt mit multimodalen, multisensorischen Daten.

NVIDIA Cosmos Data Factory vereint die Tools und Fähigkeiten für das Labelieren, Kuratieren, Erweitern und Bewerten von Daten auf großer Skala zur Ausbildung physikalischer KI. Der Cosmos Curator, eine mit GPU beschleunigte Lösung für die Kuratierung von Video-Trainingsdatensätzen, bietet nun Unterstützung für multimodale multisensorische Eingaben und Verarbeitungsblöcke.

Cosmos Data Factory bietet jetzt die folgenden fünf cloud-native Blueprint an und ist über GitHub, Microsoft Azure, Nebius und CoreWeave verfügbar:

• Generierung von Datenbeständen für autonome Fahrzeuge: Erstellt und labelt Fahrdaten und fügt anschließend synthetische Beispiele für schwierige Szenarien hinzu, um den Trainingsumfang zu erweitern.
• Bildattributverdopplung: Verändert das Erscheinungsbild von Objekten, um die Bildsuche zu verbessern.
• Videobild-Erstellung für Events: Verwandelt statische Bilder in synthetische Videos von seltenen oder unsicheren Ereignissen.
• Defektbildgenerierung: Erzeugt Bilder von Bauteilen mit Metall- und Glasdefekten für Inspektionsmodellungen.
• Videodaten-Augmentation: Verändert das Wetter und die Beleuchtung im bestehenden Film, während die Struktur der Szene erhalten bleibt.

Cosmos Data Factory beschleunigt die Datenerfassung, den Prozess und die Generierung synthetischer Daten durch agentische Fähigkeiten.

Unternehmen setzen bereits die Blueprint der Cosmos Data Factory ein, um ihre Workflows für den physischen AI-Entwicklungsprozess zu beschleunigen.

Porsche führt die Entwicklung eines gemeinsamen AV-Daten-Wheelers unter den Marken der Volkswagen Group vor, indem es Cosmos Data Factory über Voxel51 auf Microsoft Azure nutzt. Es wird erwartet, dass dadurch die wiederholten physischen Testfahrten bis zu 90% reduziert und die Entwicklungszyklen bis zu 85% verkürzt werden.

Porsche sucht und vervollständigt Daten von autonomen Fahrzeugen in Voxel51, unterstützt durch Cosmos Data Factory.

ANYbotics hat über 1.500 synthetische Videoclips mit Blueprint-Dateien von Cosmos Data Factory erstellt, reale Daten zusammengestellt und die Ergebnisse mit der Encord-Plattform validiert, um seine industrielle Inspektionsroboter zu trainieren, damit sie Flüssigkeitsverschüttungen und andere Veränderungen bei Besuchen der Anlagen erkennen können.

ANYbotics erstellt Anomalie-Clips mit Encord, das von der NVIDIA Cosmos Data Factory unterstützt wird.

Ultralytics, ein Computer-vision-Unternehmen, hat sein YOLO-Modell mit echten Bildern sowie synthetischen Defekten verfeinert, die mit Cosmos Data Factory erstellt wurden, wodurch die Defektlokalisation und die Recall verbessert wurden.

Train, Anpassen und Optimieren von Modellen

Mit vorbereiteten Trainingsdaten können Entwickler ihre eigene Architektur trainieren oder mit einem vorbereiteten Modell beginnen.

Bei der GTC Berlin erweiterte NVIDIA die Cosmos Framework-Trainings-, Optimierung- und Deployment-Werkzeuge sowie -Rezepte zu Agent-Skills für mehr offene Modelle, zusammen mit Cosmos 3, wodurch die Weltmodell-Bauer einen schnelleren Weg von der Experimentierung bis zur Deployment haben.

Entwickler und Agenten können nun offene Modelle wie GR00T, Alpamayo, QWEN, Pi0.5 sowie andere kompatible Hugging Face-Modelle durch Feinjustierung und Verstärkungslernen anpassen, das Modell mit Distillation und Quantisierung optimieren und es mit hoher Leistung für die Inferition einsetzen.

Um ein Weltmodell zu entwickeln, das speziell für egosentrische Manipulationen geeignet ist, hat das Robotikforschungslabor MicroAGI das Cosmos 3 nach dem Training an Videos von Menschen, die Objekte manipulieren, aufbereitet und seinen 32-Milliarden Parameter umfassenden Rechner auf ein 8-Milliarden Parameter umfassendes Nano-Modell reduziert – ohne dass die Genauigkeit verloren geht.

Entwickler können die Daten labeln und Cosmos 3 nach dem Post-Training auf Roboflow für ihre spezifischen Umgebungen und Aufgaben verwenden, anschließend diese Modelle auf RoboFlow-Hosted- oder on-premises-NVIDIA-GPUs deployen, um Video-Rechenspiele in Fabriken und Lagerhäusern einzusetzen.

Teste die Richtlinien und führe die Modelle schneller aus

Zusammen mit diesen Tools setzt NVIDIA weiterhin die Grundtechnologie durch seine Arbeit an den Cosmos-Modellen voran.

Neue Cosmos 3 Nano-Modellvarianten für Simulationen ermöglichen es Entwicklern, autonome Politiken in wiederholbaren, schwer zu erfassenen, multikamerigen Multisensor-Szenarien zu testen. Der begleitende Code ermöglicht es Entwicklern, die Modelle anzupassen, um eigene Politiken für autonome Fahrzeuge und bimanuale Roboter in interaktiven Simulationen vor realen Tests zu trainieren und zu bewerten.

Entwickler können die Kernmodelle von Cosmos mit den aktualisierten NVIDIA Cosmos 3 NIM Microservices deployen, die eine bis zu 2x schnellere Inferenz ohne Qualitätsverlust in validierten Konfigurationen ermöglichen, während die kontinuierliche Videoanalyse subsekundengenaue Warnungen ermöglicht.

Für Entwickler von Vision-AI-Technologien ist das neue NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3, das auf Cosmos NIM-Microservices basiert, in einer einzigen Anweisung eine effiziente Video-AI-Anwendung ermöglicht und den Teams hilft, 40% mehr Video-Streams mit demselben GPU zu überwachen.

ADNOC verwendet die Fogsphere-MistIQ-Agentenplattform, die mit Cosmos und dem NVIDIA Metropolis VSS Blueprint entwickelt wurde, um in Echtzeit Sicherheitsrisiken an 65 Standorten zu erkennen. Für seltene Ereignisse nutzt Fogsphere auch die Cosmos Data Factory, um synthetische Trainingsdaten zu erzeugen – dadurch wird die Erkennung verbessert, ohne dass es notwendig ist, gefährliche Situationen physisch vorzubereiten.

Die Cosmos-Plattform ist vollständig modular und offen. Entwickler können Cosmos Data Factory verwenden, um Trainingsdatenbanken zu erstellen, Cosmos Framework, um Weltmodelle zu trainieren und anzupassen, und anschließend unterstützte Cosmos-Modelle durch NIM-Microservices zu deployen.