Transformer une idée de simulation en application fonctionnelle signifie assembler les ressources, connecter la physique et le rendu, et vérifier que la scène se comporte comme prévu. Les développeurs combinent des modèles d’IA de pointe avec les bibliothèques NVIDIA Omniverse pour faciliter cette tâche — construire des applications permettant d’explorer des scénarios, d’analyser les échecs et d’améliorer les designs.
Les développeurs dirigent les agents d’IA à l’aide de instructions en langage naturel, vérifient les résultats et orientent les modifications. Les bibliothèques Omniverse offrent des capacités de physique, de rendu et de simulation de capteurs accélérées par GPU.
Explorez les projets ci-dessous pour voir les modèles d’IA de pointe tels que GPT-6 Astra en action, et revenez régulièrement pour découvrir de nouveaux exemples provenant des équipes et développeurs de NVIDIA dans l’écosystème.
Construire un simulateur humain pour un environnement de entrepôt
Explorez un contrôle gamifié et basé sur la physique d’un robot humain en vue première et troisième personne.
Avant d’automatiser les tâches de entrepôt, les développeurs ont besoin d’un environnement de simulation interactif pour explorer le comportement des tâches et évaluer la manière dont le travail est effectué. Frank DeLise, product manager d’Omniverse chez NVIDIA, a utilisé Astra pour transformer un entrepôt et un robot humanoïde SimReady en un simulateur interactif avec des perspectives à première et troisième personne.
DeLise a demandé à Astra de se connecter auxbibliothèques NVIDIA Omniverse pour la physique (ovphysx), les mises à jour de scène (ovstage), la rendering (ovrtx) et l’interface utilisateur (ovui). Il a également utilisé Astra avec SimReady (simready-foundation) pour créer la scène physique dans la simulation. Astra a ensuite généré des codes d’animation et d’application afin de combiner ces fonctionnalités.
Apprenez comment Préparer et valider les ressources robot SimReady avec des modèles d’IA de frontière et des bibliothèques NVIDIA Omniverse.
Connecter un workflow de test de conduite autonome
Changer une scène, un capteur ou un modèle de conduite peut avoir un impact significatif sur les simulations de véhicules autonomes. Doyub Kim, manager du département de technologie de simulation chez NVIDIA, a demandé à Astra de créer Zero to Alpamayo – un environnement de simulation réutilisable basé sur Market Street à San Francisco.
Kim a demandé à Astra de définir le flux de travail, puis de connecter la création d’actifs, le trafic, la simulation de capteur Omniverse RTX et la conduite Alpamayo par étapes, en vérifiant chaque intégration. Le prototype obtenu a servi de terrain d’essai pour comparer les modèles et déterminer comment les changements de scène ou de capteur affectent le comportement de conduite ultérieur. Une expérience distincte Cosmos3-Nano a varié le climat et l’éclairage dans des vidéos de simulation enregistrées, permettant à Kim de comparer les réponses du modèle de conduite à la même situation sous différentes conditions.
Utilisez les différences de capteurs pour créer et améliorer les twins numériques
La comparaison des sorties de caméra et de lidar enregistrées et simulées permet aux développeurs de recevoir des retours basés sur les indicateurs de performance clés pour affiner une scène.
Pour tester les robots et les véhicules autonomes, les développeurs doivent savoir dans quelle mesure les capteurs simulés correspondent aux capteurs réels. Ashley Reid, qui travaille sur la validation des capteurs RTX chez NVIDIA, a dirigé les agents Astra et Claude Fable 5 pour comparer les sorties de caméra ovrtx et les données brutes du LiDAR avec les données enregistrées. Les agents ont créé deux twins numériques à partir de zéro et ont amélioré deux existants.
En environ trois jours, Reid a guidé un processus itératif au cours duquel les agents mesuraient les différences, créaient ou modifiaient les scènes OpenUSD, et vérifiaient les résultats. Les modifications concernent les objets manquants, la géométrie et les matériaux, et l’acceptation dépend des indicateurs de la caméra et du LiDAR. Cela permet aux développeurs d’utiliser ces différences mesurées pour guider la création et l’amélioration des scènes.
Commencez par générer une scène OpenUSD avec l’exemple Python minimal ovrtx, puis définitiez une mesure de capteur pour comparer avec les données enregistrées.
Robo Olympics : Tester les compétences robotiques avec une simulation
Apprendre aux robots de nouveaux mouvements signifie vérifier si ces actions fonctionnent sous des contraintes physiques. Tae Kim, qui dirige l’ingénierie et les produits de NVIDIA Omniverse, a utilisé des vidéos sportives et des instructions en langue naturelle pour guider Astra dans la création de Robo Olympics, un projet expérimental qui teste des humains simulés de Unitree G1 effectuant des mouvements sportifs.
Sous la direction de Kim, Astra a construit des contrôleurs et les a affinés via des tests physiques. Newton Physics Engine a simulé le comportement, le framework open source NVIDIA Warp a accéléré les calculs, et ovrtx a affiché les scènes et les images de caméra virtuelle. Dans un essai, le robot a franchi une seule barrière dans 64 des 100 essais de simulation. Ces essais ont donné à Kim des informations pour améliorer le timing et le contrôle du robot.
Regardez Kim explorer des simulations de construction avec les bibliothèques Astra et NVIDIA Omniverse.
Test de la désassemblage robotique avec le design assisté par ordinateur et la simulation
Avant qu’un robot ne puisse démonter un produit, les développeurs doivent savoir si ses outils peuvent atteindre et enlever les pièces. Jens Jebens, product manager senior pour OpenUSD chez NVIDIA, a demandé à Astra de modéliser une suspension de voiture dans PTC Onshape et de la configurer dans NVIDIA Isaac Sim.
Avec Astra, Jebens a exploré le conception assistée par ordinateur et les révisions des outils pour les robots basées sur la simulation. L’agent mesurait l’espace disponible et avait conçu une clé que le robot pouvait utiliser pour atteindre les vis de la suspension. Jebens a rapporté la réussite de la démontage d’un composant de suspension en simulation. Cela relie les décisions de conception et d’outils aux résultats de désassemblage, offrant un point de départ pour l’entraînement des politiques de robot.
Explorez Guide d'importation Onshape.
Amener la Station Spatiale Internationale dans le navigateur
Transformer les modèles 3D en application nécessite de connecter les ressources, les données en temps réel et une interface. Nic Johns, directeur d’ingénierie chez NVIDIA, a encouragé Astra à assembler les ressources de la NASA en un modèle de Station Spatiale Internationale OpenUSD avec télémétrie. Johns a créé l’application avec une seule instruction, puis a utilisé une autre instruction pour déplacer la scène vers le côté jour de la Terre afin que la planète soit visible.
Le workflow a utilisé Blender pour la préparation des assets et les bibliothèques Omniverse pour le rendu (ovrtx), l'exécution de la scène (ovstage) et la diffusion (ovstream). L’application introduit les modèles 3D et les données opérationnelles dans le navigateur, avec Johns qui guide son développement par des suggestions et des corrections.
Testez la Compétence Omniverse Voir en temps réel.
Transformer les salles capturées en environnements de test
Une pièce reconstruite numériquement nécessite des objets édables et un comportement physique précis avant que les développeurs puissent tester les interactions. Chirag Majithia, de l’équipe d’applications ingénierie d’Isaac chez NVIDIA, a demandé à Astra de transformer les captures de caméras stéréo en un studio OpenUSD édable.
Le workflow combine PyCuSFM, FoundationStereo et nvblox pour la reconstruction, avec une revue utilisateur qui guide le choix et l’emplacement des objets. Astra assemble les assets générés et rédigés par Blender, et utilise les USD Content Agents pour configurer le mouvement et les interactions des objets dans la simulation. Isaac Sim effectue des tests de collisions et de contacts pour les portes et les tiroirs. Le studio relie la géométrie capturée aux tests d’interaction, ce qui facilite l’inspection des écarts et du comportement des objets.
Explorer les agents de contenu USD.
Avez-vous une idée de simulation ? Explorez Les bibliothèques NVIDIA Omniverse pour commencer à construire avec un agent d’IA.