Convertir una idea de simulación en una aplicación funcional significa montar activos, conectar física y renderizado, y verificar que la escena se comporta como se pretende. Los desarrolladores están combinando modelos de IA de vanguardia con bibliotecas NVIDIA Omniverse para ayudar a llevar a cabo ese trabajo: construyendo aplicaciones para explorar escenarios, investigar fallos y mejorar diseños.
Los desarrolladores dirigen los agentes de IA a través de instrucciones en lenguaje natural, revisan los resultados y guían los cambios. Las bibliotecas de Omniverse ofrecen capacidades de física, renderizado y simulación de sensores aceleradas por GPU.
Explora los proyectos siguientes para ver cómo funcionan modelos de IA de vanguardia como GPT-6 Astra, y vuelve a consultar para encontrar nueros ejemplos provenientes de equipos y desarrolladores de NVIDIA en todo el ecosistema.
Construir un simulador humanoide para un entorno de almacén
Explora un control gamificado y basado en física de un robot humanoide desde la primera y tercera persona.
Antes de automatizar las tareas del almacén, los desarrolladores necesitan un entorno de simulación interactivo para explorar el comportamiento de las tareas y evaluar cómo se realiza el trabajo. Frank DeLise, gerente de producto de Omniverse en NVIDIA, utilizó Astra para convertir un SimReady de almacén y robot humanoide en un simulador interactivo con vistas de primera y tercera persona.
DeLise dirigió Astra para conectarse con las bibliotecas de NVIDIA Omniverse para la física (ovphysx), las actualizaciones de escena (ovstage), la renderización (ovrtx) y la interfaz de usuario (ovui). También utilizó Astra con SimReady (simready-foundation) para crear la escena física en la simulación. Luego, Astra generó el código de animación y aplicación para integrar todas esas capacidades.
Aprenda cómopreparar y validar los activos de robot SimReady con modelos de Frontier AI y las bibliotecas de NVIDIA Omniverse.
Conectar un flujo de trabajo de pruebas de conducción autónoma
Cambiar una escena, un sensor o un modelo de conducción puede afectar significativamente las simulaciones de vehículos autónomos. Doyub Kim, gerente del equipo de tecnología de simulación en NVIDIA, pidió a Astra que desarrolle Zero a Alpamayo: un entorno de simulación reutilizable basado en Market Street de San Francisco.
Kim ordenó a Astra que diseñara el flujo de trabajo, luego conectara la creación de activos, el tráfico y la simulación de sensor Omniverse RTX y el conducción Alpamayo en etapas, verificando cada integración. El prototipo resultante sirvió como campo de prueba para comparar modelos y rastrear cómo los cambios en la escena o en los sensores afectan el comportamiento de conducción en la práctica. Un experimento independiente con Cosmos3-Nano variaba el clima y la iluminación en videos de simulación grabados, lo que permitió a Kim comparar las respuestas del modelo de conducción a la misma situación bajo diferentes condiciones.
Usar las diferencias de sensores para crear y mejorar los digital twins
Comparar los resultados grabados y simulados de la cámara y el lidar proporciona a los desarrolladores retroalimentación basada en indicadores de rendimiento clave para mejorar una escena.
Para probar robots y vehículos autónomos, los desarrolladores necesitan saber hasta qué punto los sensores simulados coinciden con los reales. Ashley Reid, que trabaja en la validación de sensores RTX en NVIDIA, dirigió a los agentes Astra y Claude Fable 5 para comparar los outputs de la cámara ovrtx y el LiDAR bruto con los datos grabados. Los agentes crearon dos gemelos digitales desde cero y mejoraron dos que ya existían.
En aproximadamente tres días, Reid dirigió un flujo de trabajo iterativo en el cual los agentes midieron las diferencias, crearon o modificaron escenas OpenUSD y verificaron los resultados. Los cambios abordaron objetos faltantes, geometría y materiales, y la aceptación dependía de las métricas de la cámara y del LiDAR. Esto proporciona a los desarrolladores una forma de utilizar las discrepancias medidas para guiar la creación y mejora de escenas.
Comience renderizando una escena OpenUSD con elejemplo Python minimal de ovrtx, luego defina una medida de sensor para compararla con los datos grabados.
Olimpiadas Robóticas: Prueba las habilidades de los robots con simulación
Enseñar movimientos nuevos a los robots significa verificar si esas acciones funcionan bajo restricciones físicas. Tae Kim, quien lidera el departamento de ingeniería y productos de NVIDIA Omniverse, utilizó videos deportivos e instrucciones en lenguaje natural para guiar a Astra en la creación de Robo Olympics, un proyecto experimental que prueba a los humanoides simulados de Unitree G1 realizar movimientos deportivos.
Bajo la dirección de Kim, Astra construyó controladores y los perfeccionó mediante pruebas físicas. Newton Physics Engine simuló el comportamiento, el framework de código abierto NVIDIA Warp aceleró los cálculos y ovrtx generó escenas e imágenes de cámara virtual. En un experimento, el robot superó un único obstáculo en 64 de 100 pruebas de simulación. Las pruebas proporcionaron feedback a Kim para mejorar el tiempo y el control del robot.
Veo a Kim explorar simulaciones de construcción con las bibliotecas Astra y NVIDIA Omniverse.
Prueba la desmontaje robótico con diseño y simulación asistida por computadora
Antes de que un robot pueda desmontar un producto, los desarrolladores necesitan saber si sus herramientas pueden alcanzar y retirar las partes. Jens Jebens, gerente de producto sénior de OpenUSD en NVIDIA, dirigió a Astra a modelar una suspensión de automóvil en PTC Onshape y a configurarla en NVIDIA Isaac Sim.
Con Astra, Jebens exploró el diseño asistido por computadora y las revisiones de herramientas para robots basadas en simulación. El agente midió el espacio disponible y diseñó una llave que el robot podía usar para alcanzar los tornillos de la suspensión. Jebens informó sobre la eliminación exitosa de un componente de suspensión en la simulación. Esto conecta las decisiones de diseño y herramental con los resultados de desmontaje, ofreciendo un punto de partida para la formación de políticas de robots.
Explora el Guía de importación Onshape.
Trae la Estación Espacial Internacional al navegador
Convertir los modelos 3D en una aplicación requiere conectar recursos, datos en tiempo real y una interfaz. Nic Johns, director de ingeniería en NVIDIA, instó a Astra a integrar recursos de la NASA en un modelo de la Estación Espacial Internacional OpenUSD con telemetría. Johns creó la aplicación con una única instrucción, y luego utilizó otra instrucción para cambiar la escena hacia el lado diurno de la Tierra, de modo que el planeta fuera visible.
El flujo de trabajo utilizó Blender para la preparación de activos y las bibliotecas de Omniverse para el renderizado (ovrtx), el tiempo de ejecución de escena (ovstage) y la transmisión (ovstream). La aplicación introduce los modelos 3D y los datos operativos en el navegador, con Johns guiando su desarrollo mediante indicaciones y correcciones.
Prueba la Habilidad de Omniverse Real-Time Viewer.
Convierta las habitaciones capturadas en entornos de prueba
Una habitación reconstruida digitalmente necesita objetos editables y un comportamiento físico preciso antes de que los desarrolladores puedan probar las interacciones. Chirag Majithia, del equipo de aplicaciones de ingeniería de Isaac en NVIDIA, instruyó a Astra para convertir las capturas de la cámara estéreo en un estudio OpenUSD editable.
El flujo de trabajo combina PyCuSFM, FoundationStereo y nvblox para la reconstrucción, con una revisión por parte del usuario que guía la selección y colocación de objetos. Astra reúne los activos generados y escritos en Blender, y utiliza USD Content Agents para configurar cómo se mueven e interactúan los objetos en la simulación. Isaac Sim realiza pruebas de colisiones y contactos para puertas y cajones. El estudio conecta la geometría capturada con las pruebas de interacción, lo que facilita la inspección de los huecos y el comportamiento de los objetos.
Explora los agentes de contenido USD.
¿Tienes una idea de simulación? Explora las bibliotecas de NVIDIA Omniverse para comenzar a construir con un agente de IA.