La simulación, que durante mucho tiempo ha sido el campo de pruebas para los robots que aprenden a caminar, rodar y saltar, ahora está ayudando a los investigadores a enseñar a los robots tareas que requieren un toque más fino: alinear engranajes, conectar cables y ensamblar componentes pequeños.
El paso de la locomoción a la manipulación ocupa un lugar central esta semana en la Conference on Robot Learning (CoRL) en Austin, Texas, junto con el auge de la robótica agéntica: un nuevo paradigma que integra agentes de frontera para crear código interpretable para sistemas robóticos físicos.
En CoRL, NVIDIA presenta nuevas tecnologías robóticas abiertas, incluyendo modelos de acción del mundo, herramientas de simulación, benchmarks y flujos de trabajo agénticos.
Dos artículos de NVIDIA se encuentran entre los seis finalistas de miles de presentaciones para los Best Paper Awards de CoRL:
- GRAIL (Generación de loco-manipulación humanoide a partir de modelos del mundo), que presenta un pipeline de generación digital para activos 3D y escenas listas para simulador destinadas al aprendizaje robótico.
- RoboTTT: Context Scaling for Robot Policies, que introduce un modelo de robot y una receta de entrenamiento que escala el contexto visuomotor tres órdenes de magnitud más allá de las políticas de vanguardia sin aumentar la latencia de inferencia.
Estos avances ayudan a los investigadores a entrenar robots en tareas complejas, evaluar su rendimiento en condiciones cambiantes y usar los fallos para guiar el aprendizaje posterior, construyendo la precisión, la adaptabilidad y la autonomía necesarias para pasar de las demostraciones de laboratorio al despliegue industrial.
NVIDIA está trabajando con socios como Ambi Robotics, Bosch Research, Dexmate, Dyna Robotics, FieldAI, Flexion, Noitom Robotics, Siemens, Skild AI, RLWRLD, UC Berkeley, Walden Robotics y la Universidad de Washington para llevar estos avances a la comunidad robótica en general.
Los modelos de acción del mundo permiten el siguiente nivel de autonomía robótica
El siguiente nivel de autonomía robótica requiere que los robots perciban su entorno, anticipen cómo sus acciones cambiarán el ambiente y ejecuten tareas complejas de múltiples pasos con un alto grado de precisión. Los modelos de acción del mundo permiten exactamente eso.
En CoRL, NVIDIA presenta GR00T 2, un modelo de acción del mundo de frontera abierto construido sobre NVIDIA Cosmos. Entrenado con datos diversos de robots y humanos, incluyendo 100,000 horas de datos egocéntricos humanos de código abierto de NVIDIA, el modelo permite a los robots aprender habilidades de manipulación diestra. Sus características clave incluyen:
- Rendimiento listo para usar: Completó 40 de las 50 tareas evaluadas al menos una vez sin demostraciones específicas de cada tarea.
- Transferencia de habilidades: Aprende de demostraciones humanas y transfiere habilidades entre diferentes cuerpos de robots sin necesidad de demostraciones de robots
- Generalización con pocos datos: Logró un 71% de éxito promedio en 50 tareas con solo una demostración por tarea, aumentando al 95% con cinco.
- Control de agentes: Los agentes de IA pueden usar la interfaz de programación de aplicaciones de GR00T 2 y las herramientas de soporte para ejecutar habilidades en secuencia y recuperarse de errores.
GR00T 2 actualmente se ubica entre los tres primeros modelos en todas las categorías de modelos de acción de lenguaje visual y modelos de acción de mundo para los benchmarks RoboCasa365, RoboLab, RoboDojo y MolmoSpaces, con múltiples victorias en las tablas de clasificación.
Nexuni lo está probando para el manejo robótico de ropa, Foxconn está aplicando GR00T 2 a la automatización de fábricas para la fabricación de servidores y Siemens lo está evaluando en diversos casos de uso industriales.
MicroAGI está usando GR00T 2, postentrenado mediante aprendizaje por refuerzo, para realizar el cambio de cables Ethernet con un brazo robótico YAM. Su enfoque de robótica agéntica automatiza la creación y calibración de entornos de simulación usando Isaac Lab 3.0 y Newton, donde se entrena la política. El flujo de trabajo de robótica agéntica se demostrará en CoRL.
Entrenar robots capaces requiere datos diversos. Los flujos de trabajo y modelos abiertos de NVIDIA equipan a los investigadores con mejores herramientas para la recopilación y anotación de datos:
- Para los investigadores que construyen conjuntos de datos de entrenamiento de robots, el nuevo flujo de trabajo abierto de NVIDIA, Video to Data, convierte video humano en demostraciones robóticas simuladas, con un desafío que invita a los investigadores a mejorarlo.
- El modelo abierto NVIDIA EgoHand — que se presenta en demostración en CoRL y que supera las 40,000 descargas en Hugging Face en las dos semanas transcurridas desde su lanzamiento — reconstruye el movimiento 3D de las manos, entrenado con datos de Noitom Robotics.
Dónde ocurre el entrenamiento y el escalado — en la simulación
Un modelo preentrenado les da a los robots un conjunto básico de habilidades. La simulación permite a los investigadores entrenar, refinar y evaluar habilidades a gran escala antes de desplegarlas en robots físicos.
NVIDIA Isaac Lab, un marco de aprendizaje robótico de código abierto, proporciona la base para ese trabajo. Su última versión, Isaac Lab 3.0, permite a los investigadores usar agentes para configurar rápidamente entornos de entrenamiento con assets listos para simulación, alternar entre NVIDIA PhysX y los solvers de física Newton, elegir renderizadores para el entrenamiento basado en percepción y aplicar una nueva biblioteca de post-entrenamiento por refuerzo a modelos fundacionales como GR00T.
Una física precisa es fundamental para transferir las habilidades aprendidas de la simulación al robot real. Una integración más estrecha con Newton, un motor de física de código abierto, permite ahora a Isaac Lab modelar objetos deformables como cables y tela, junto con sistemas articulados complejos como manos robóticas con muchas articulaciones que interactúan.
La integración con Newton simula cómo se deforma una fresa bajo el agarre de un robot.
Juntos, Isaac Lab y Newton combinan una física precisa con escala para permitir a los investigadores entrenar miles de robots simulados en paralelo. En un benchmark de manipulación diestra basada en visión, Isaac Lab 3.0 con Newton logró hasta 2.5 veces el rendimiento de entrenamiento de Isaac Lab 2.3 con PhysX.
Isaac Lab admite la simulación de robots con Newton y NVIDIA PhysX.
Los desarrolladores están ampliando las capacidades de Newton. En CoRL, Skild AI anunció Scalable Throughput-optimized Engine for Embodied Learning, o STEEL, un nuevo solver de física de cuerpos rígidos construido sobre Newton para acelerar el entrenamiento de robots con Isaac Lab.
El solver STEEL de Skild AI.
Flexion mostró cómo Isaac Lab y Newton ayudan a entrenar a Reflect, su modelo de inteligencia robótica que combina razonamiento y manipulación de cuerpo completo.
Flexion usa Newton para RL con Isaac Lab.
FieldAI está usando Newton — además de Isaac Lab e Isaac Sim, construidos sobre las bibliotecas de NVIDIA Omniverse — para entrenar y validar políticas de robots para su despliegue en entornos reales no estructurados. Dyna Robotics demostrará cómo la simulación en paralelo en Isaac Lab ayuda a entrenar controladores de cuerpo completo para su robot semi-humanoide Taku para trabajos en almacenes, hoteles y servicios de alimentos.
Walden Robotics está usando el renderizado fotorrealista de Isaac Sim para entrenar y evaluar su robot de propósito general en entornos virtuales para manufactura y logística, mientras que Dexmate explora cómo los agentes de codificación pueden ensayar y refinar estrategias de manipulación en Isaac Sim antes de ejecutarlas en su robot Vega.
AlphaNIST, construido en Isaac Lab, demuestra cómo una práctica eficiente puede traducirse en precisión. Una única política aprende las 20 tareas del NIST Assembly Task Board, manipulando piezas a escala milimétrica usando solo una señal de éxito de sí o no. Logra más del 98% de éxito en el entrenamiento, en comparación con el 81% de políticas separadas por tarea, usando aproximadamente 39 veces menos tiempo de GPU.
AlphaNIST usa Isaac Lab para entrenar una única política de robot en 20 tareas de precisión del NIST Assembly Task Board.
Detrás de esos resultados está Muestreo Guiado por el Éxito (Success-Guided Sampling), o SGS, de la Universidad de Washington y NVIDIA. El método centra la práctica en tareas que una política completa con éxito aproximadamente la mitad de las veces, dirigiendo el entrenamiento hacia habilidades que aún está aprendiendo. Con SGS, el entrenamiento de robots puede escalar más allá de un millón de entornos paralelos.
La Facultad de Computación (School of Computing) y Texas Robotics de la Universidad de Texas en Austin utilizan Isaac Sim e Isaac Lab para entrenar habilidades robóticas en simulación, permitiendo que los estudiantes comiencen a desarrollar antes de que el hardware físico esté disponible.
Nuevos Benchmarks Industriales para la Evaluación de Robots
Aprender una habilidad es un desafío. Realizarla de manera confiable en condiciones cambiantes es otro.
NVIDIA Isaac Lab-Arena, un marco de código abierto para la evaluación de políticas a gran escala, permite a los desarrolladores componer evaluaciones diversas y repetibles, y luego ejecutar políticas a través de miles de variaciones en paralelo. Los análisis revelan qué condiciones causan fallos, de modo que los investigadores saben qué corregir en su próximo entrenamiento. La versión preliminar para desarrolladores de su última versión, 0.4, llega en CoRL.
DexBench y VABAR, dos nuevos benchmarks abiertos, se encuentran entre los primeros diseñados para medir la destreza y la adaptabilidad de los robots en tareas industriales utilizando Isaac Lab-Arena y Newton.
DexBench, desarrollado por RLWRLD en colaboración con NVIDIA, lleva la evaluación de destreza fuera de la mesa de trabajo y hacia flujos de trabajo del mundo real. Construido utilizando NVIDIA Isaac Lab-Arena, presenta 15 tareas en cuatro escenas que abarcan comercio minorista, logística, manufactura y hostelería, probando la generalización a través de variaciones de objetos, espaciales y físicas.
Genesis AI, mimic robotics y otros socios de la industria están evaluando DexBench a través de acceso anticipado.
Los equipos pueden ejecutar DexBench en Manifold, la plataforma de evaluación de Bifrost para escalar simulaciones de robótica, sin necesidad de configuración, con análisis de fallos integrado y créditos gratuitos para evaluaciones iniciales.
VABAR — el Benchmark de Automatización Variacional para Robótica Agéntica — de UC Berkeley y NVIDIA, evalúa robots en seis tareas industriales. Cada una incluye variaciones estandarizadas, niveles de dificultad y métricas de éxito.
Una tarea simulada de clasificación de herramientas demuestra cómo VABAR evalúa las habilidades de manipulación robótica para flujos de trabajo industriales.
Los agentes convierten habilidades en programas de robots
La finalización exitosa de tareas requiere que los robots coordinen múltiples habilidades y se adapten cuando algo sale mal. Construir programas confiables para estas tareas de múltiples pasos sigue siendo un desafío.
La robótica agéntica ayuda a resolver ese desafío.
de UC Berkeley nuevo Graph-as-Policy El marco de trabajo (GaP) utiliza agentes para conectar habilidades individuales en programas de robots. Los agentes prueban estos programas usando las tecnologías de simulación abiertas NVIDIA Isaac y los refinan según los fallos. Esto ayuda a los investigadores a escalar el desarrollo con menos datos, manteniendo los programas interpretables para que los ingenieros los revisen y verifiquen antes del despliegue.
GaP utiliza agentes y simulación para convertir habilidades individuales de robots en acciones coordinadas, como limpiar una barra.
“Para mí, la robótica agéntica es el desarrollo tecnológico más emocionante desde internet en 1995”, dijo Ken Goldberg, profesor de robótica en UC Berkeley y responsable principal de los proyectos VABAR y GaP.
Ambi Robotics, Bosch Research y Siemens también están explorando GaP para sus flujos de trabajo de robótica agéntica en diversos escenarios industriales.
Aprenda más uniéndose a NVIDIA en CoRL.