💻 Código | 📊 Datos | 🤖 Modelos | 📖 Documentación
Los robots están aprendiendo a doblar ropa, clasificar piezas y manipular objetos desconocidos. Pero esas demostraciones suelen ser bastante limitadas y no explican qué ha aprendido un robot ni por qué falla.
Para estudiar un sistema complejo, los científicos suelen comenzar con un entorno pequeño y controlado, como una placa de Petri o un terrario, donde pueden variar las condiciones y observar los efectos. La robótica necesita entornos que hagan posible este tipo de investigación: los investigadores deberían poder cambiar los datos de entrenamiento o el diseño del modelo, repetir una prueba y rastrear la causa de un fallo.
Hoy presentamos un marco para crear estos entornos; los llamamos FoundationWorlds. Cada uno empareja un mundo simulado y controlado, orientado al estudio de la robótica en un entorno específico, con herramientas para generar automáticamente tareas y demostraciones de entrenamiento, así como métricas para medir el comportamiento de un robot a lo largo del tiempo. En conjunto, proporcionan un escenario para estudiar cuestiones como cómo mejoran los modelos a medida que hay más datos de entrenamiento disponibles y cómo combinar de la mejor manera el razonamiento de alto nivel con el control físico preciso.
Nuestro primer mundo fundacional es ToyBlocks: un marco de simulación abierto construido en torno a un brazo robótico y bloques sobre una mesa. El escenario es deliberadamente simple, pero el robot aún debe razonar sobre cómo interactúan los bloques y cómo organizarlos mientras los empuja, voltea y apila.
ToyBlocks genera automáticamente demostraciones, que son grabaciones de un robot completando tareas en simulación, sin requerir teleoperación, que consume mucho tiempo, en la que una persona controla el robot a distancia. Los investigadores pueden variar fácilmente estas experiencias de entrenamiento. Por ejemplo, un equipo podría generar más demostraciones de empuje o volteo, y luego evaluar el rendimiento en tareas mantenidas fuera del entrenamiento.
Comenzando con ToyBlocks como nuestro primer FoundationWorld, nuestro objetivo es extender el enfoque a entornos cada vez más complejos.
Cómo funciona ToyBlocks
Basándonos en nuestro trabajo anterior en aprendizaje robótico abierto, incluyendo MolmoAct 2, MolmoBot, y MolmoSpaces, ToyBlocks ofrece a los investigadores una forma de estudiar preguntas de robótica en un dominio deliberadamente restringido.
Como FoundationWorld, ToyBlocks está diseñado en torno a cuatro requisitos: (1) física y apariencia realistas, (2) generación automática de tareas y demostraciones a gran escala, (3) desafíos que combinen razonamiento con destreza, y (4) amplia cobertura de las tareas posibles dentro de un dominio.
Los dominios abiertos requieren modelar una amplia gama de objetos e interacciones, lo que hace inviable cumplir todos estos requisitos. El alcance limitado de ToyBlocks, por el contrario, hace posible cumplirlos todos.
Dentro del entorno más pequeño de ToyBlocks, los investigadores pueden trabajar en la investigación de cómo un robot puede aprender a realizar cualquier tarea razonable, con la confianza de que el brazo y los bloques simulados se comportan de manera muy similar a sus homólogos físicos.
Una pinza robótica física sobre bloques de madera en la configuración de ToyBlocks.
ToyBlocks no se trata solo de recoger y apilar bloques: las imágenes y letras en las caras de los bloques permiten tareas de búsqueda, clasificación y ordenación. Un robot puede necesitar girar un bloque para ver una cara oculta antes de decidir a dónde pertenece. La aleatorización de dominio – variar el tamaño de los bloques, la altura de la mesa y otras propiedades físicas de una escena a otra – pone a prueba la capacidad de generalización de los modelos a medida que cambia la geometría.
ToyBlocks genera automáticamente habilidades (comportamientos para tareas cortas) y demostraciones de tareas que pueden usarse para entrenar modelos o adaptar modelos previamente entrenados mediante entrenamiento adicional (fine-tuning). Los modelos de razonamiento de alto nivel deciden qué hacer; los modelos de acción de bajo nivel controlan los movimientos del robot. El marco también puede usarse para diseñar experimentos fácilmente y validar hipótesis.
ToyBlocks utiliza aprendizaje por refuerzo (RL) y planificación de movimiento, que calcula cómo debe moverse el robot, para generar habilidades para tareas de horizonte corto, que involucran secuencias breves de acciones. El entrenamiento de habilidades tiene lugar en Isaac Lab, el marco de código abierto de Nvidia para el aprendizaje de robots en simulación. Mediante ensayo y error, estas políticas – modelos que eligen las acciones del robot – aprenden habilidades no de prensión, como empujar un bloque a través de la mesa o voltearlo hacia otra cara sin levantarlo. La generación de habilidades puede basarse en información privilegiada – valores que el simulador puede suministrar directamente pero un robot real no puede, como la posición y orientación exactas de un bloque – en lugar de estimarla a partir de imágenes de cámara. Esto permite la generación automática de habilidades que requerirían teleoperación en el mundo real.
Para generar datos de demostración, un planificador de tareas y movimientos (TAMP) selecciona y secuencia automáticamente las habilidades necesarias para resolver una tarea y planifica los movimientos del robot entre ellas. La ejecución de cada plan en simulación produce un conjunto de datos de demostraciones grabadas junto con etiquetas que describen qué tarea o habilidad realiza el robot. ToyBlocks escala la generación de datos mediante la generación y ejecución de cientos de estos planes en paralelo en una sola unidad de procesamiento gráfico (GPU), alcanzando hasta 24 veces el rendimiento en tiempo real.
Actuar a partir de observaciones de sensores añade un problema de percepción: un modelo tiene que estimar la pose de un bloque – su posición y orientación – que el simulador podría suministrar directamente. Para reflejar condiciones del mundo real, ToyBlocks entrena modelos que mapean observaciones de sensores en bruto a acciones.
Ejecución de Molmo 2 (un modelo de alto nivel) y ManiFlow (un modelo de bajo nivel) entrenados en ToyBlocks. Molmo 2 selecciona habilidades como la rotación y el volteo, indicando el bloque relevante mediante una interfaz de señalamiento, mientras que ManiFlow controla el brazo simulado para ejecutar las habilidades ordenadas.
El generador de datos controlable de ToyBlocks permite a los usuarios crear mezclas de entrenamiento que enfatizan habilidades particulares o completan lagunas en conjuntos de datos existentes. Los investigadores pueden estudiar cuántos datos necesita un modelo y qué experiencias le ayudan a generalizar a tareas no vistas. Por ejemplo, podrían probar si añadir demostraciones de rotación y de tomar y colocar mejora el volteo, o variar el equilibrio de ejemplos dentro y fuera de una región de trabajo definida—evaluando sus decisiones en tareas mantenidas fuera del entrenamiento. Es importante destacar que la evaluación de los modelos entrenados genera métricas más allá de las tasas de éxito; proporciona información como velocidades de ejecución, fuerzas ejercidas sobre los objetos y progreso de la tarea medido mediante las mismas especificaciones que usa el módulo de planificación.
Una interfaz de página web permite a los usuarios conectar Claude – u otro modelo frontera – y usar lenguaje natural para instruir al robot o probar tareas, ofreciendo una manera de explorar cómo un modelo planifica y actúa sin necesidad de experiencia en robótica.
Investigación basada en ToyBlocks
Las evaluaciones siguientes usan ToyBlocks para estudiar cómo los datos y métodos de entrenamiento afectan el rendimiento, el razonamiento espacial, la generalización a nuevas letras y apariencias de bloques, la planificación de múltiples pasos, la transferencia a robots físicos y los modelos frontera que actúan a través de herramientas. Los usuarios pueden diseñar fácilmente sus propias tareas y medidas para investigar otras preguntas—por ejemplo, si un modelo rinde mejor cuando selecciona objetos señalándolos o emitiendo comandos de texto como "toma el bloque amarillo".
Modelos de acciones de bajo nivel: generalización espacial de VLA
Los modelos de acciones de bajo nivel, como los modelos de visión-lenguaje-acción (VLAs), mapean instrucciones de lenguaje y observaciones visuales a acciones del robot.
La premisa de los VLAs es que, mediante preentrenamiento en conjuntos de datos a gran escala, pueden generalizar rápidamente a diferentes escenarios o a un espacio de trabajo específico. Sin embargo, la evidencia sobre qué tan bien generalizan estos modelos de acciones sigue siendo contradictoria. Algunos estudios informan que estos modelos de acciones son frágiles ante cambios en las entradas, como diferentes disposiciones de objetos e iluminación, mientras que otros muestran que los VLAs generalizan bien. Sostenemos que estos estudios a menudo dependen de conjuntos de datos del mundo real con flexibilidad limitada en variaciones espaciales. ToyBlocks nos permite probar qué tan bien generalizan los modelos de acciones en un entorno simple y fácilmente reproducible con diversidad significativa del espacio de tareas.
Diseñamos pruebas de generalización que varían las secuencias de habilidades necesarias para completar una instrucción, las letras o colores de los bloques y el número de bloques en una escena. Un estudio de apilamiento puede retener de la entrenamiento las pilas de cuatro bloques, y luego probar si un modelo puede combinar movimientos familiares para construirlas. Los estudios de espacio de trabajo distinguen el rendimiento en nuevas posiciones dentro de una región de entrenamiento del rendimiento más allá de sus límites, donde el modelo tiene que extrapolar. Ilustramos la configuración del estudio y los hallazgos a continuación.
Consideramos cuatro tareas: Stack, Unstack, Flip y Rotate. Para estas tareas, estudiamos la interpolación (nuevas configuraciones dentro del rango de entrenamiento) y la extrapolación (configuraciones más allá de ese rango). Por ejemplo, evaluamos la generalización entrenando en escenarios donde los objetos aparecen solo en la región izquierda (verde) y probando en la región derecha (naranja), o entrenando con alturas de pilas de 2 y 5 bloques y probando con alturas de 3 y 4.
Estudios de generalización espacial para modelos VLA (resultados basados en ManiFlow, π0.5, y MolmoAct 2). A pesar del preentrenamiento a gran escala, estos modelos de acciones populares generalizan mal en los resultados iniciales. Mejoramos la generalización y analizamos la contribución de cada técnica. La etiqueta LoRA del gráfico significa adaptación de bajo rango, un método para ajustar finamente un modelo con un pequeño conjunto de actualizaciones de pesos entrenables. Creemos que la generalización de los modelos de acciones sigue estando lejos de estar resuelta; ToyBlocks proporciona un banco de pruebas valioso para explorar sistemáticamente técnicas de generalización.
Razonamiento de alto nivel: modelos de visión-lenguaje
Las tareas de horizonte largo, que requieren muchos pasos, nos permiten medir qué tan bien los modelos pueden planificar una secuencia de acciones para resolverlas. Nuestro marco nos permite crear tales tareas de horizonte largo, y crear oráculos –componentes de referencia que proporcionan planes o acciones correctos– tanto en el nivel alto como en el bajo. Esto nos permite aislar si falló la planificación de alto nivel o la ejecución de bajo nivel cuando un modelo falla en una tarea. Un ejemplo de tarea de horizonte largo podría ser deletrear “Ai2” con una pila de bloques; como las letras pueden no ser visibles de inmediato, el agente debe primero elegir acciones que revelen información, y luego planificar y ejecutar una secuencia de acciones para construir la pila.
Evaluamos modelos jerárquicos con planificación explícita de alto nivel y modelos de ejecución de bajo nivel. En este caso, elegimos Molmo 2, un modelo de visión y lenguaje (VLM), como planificador de alto nivel, y ManiFlow como política de bajo nivel. Molmo 2 elige la habilidad a ejecutar y el bloque sobre el cual ejecutarla, mientras que el modelo de bajo nivel ejecuta la instrucción. Entrenamos modelos de bajo nivel como ManiFlow para pausar después de completar la ejecución y consultar al modelo de alto nivel por la siguiente instrucción. Evaluamos las capacidades de planificación del modelo en tres escenarios de dificultad creciente. El escenario más fácil se inicializa con cada personaje erguido y mirando hacia la cámara. El escenario medio tiene personajes que pueden no estar erguidos, y el escenario más difícil contiene personajes que no son visibles al inicio del episodio.
Tasas de éxito en tareas de deletrear palabras de tres letras con bloques usando Molmo 2 como modelo de razonamiento de alto nivel y ya sea ManiFlow o un planificador de movimiento para la manipulación de bajo nivel. Una tarea de ejemplo es “Stack Ai2”. Molmo 2 y ManiFlow se entrenan en ToyBlocks y se evalúan en tres configuraciones de dificultad y dos condiciones de generalización.
Razonamiento de alto nivel: sistemas agénticos
Nuestros experimentos con sistemas agénticos prueban cómo los modelos de frontera planifican y actúan mediante llamadas a herramientas. Estudiamos tres configuraciones usando Claude Opus 5.5. En la configuración de búsqueda y deletreo, exponemos las habilidades de ToyBlocks a través del Model Context Protocol (MCP), un estándar para conectar aplicaciones de IA con herramientas. El agente ve la escena a través de imágenes de cámara, llama a habilidades como pick, flip o rotate apuntando a un píxel, y decide cuándo buscar, construir o declarar la tarea completa o imposible. Las mismas herramientas MCP pueden ejecutar ya sea las habilidades programadas que generan las demostraciones de ToyBlocks (pick y place planificados por movimiento, más rotate y flip basados en RL) o habilidades aprendidas de ManiFlow. ToyBlocks incluye el marco detrás de estos experimentos, que también alimenta la interfaz web de lenguaje natural descrita anteriormente.
Un modelo de frontera (Claude Fable 5.1) controla un robot en un mundo de ToyBlocks para buscar bloques y apilarlos en una torre que deletrea “Ai2”. Durante el episodio, el agente reflexiona: “Necesito averiguar si pick-and-place endereza naturalmente la orientación o si necesito corregirla manualmente… Me quedan 63 llamadas, suficientes para ejecutar una prueba controlada” (0:06). El agente luego hipotetiza: “…quizás el yaw del gripper es radial—apuntando desde la base del robot hacia el bloque” (0:15) y eventualmente confirma esta hipótesis (0:26) antes de construir la torre de tres bloques, pero la ‘A’ queda de lado (1:11). Sorprendentemente, los modelos de frontera actuales a menudo cometen errores perceptuales similares (ver la siguiente figura), a pesar de sus impresionantes capacidades de planificación, razonamiento espacial y búsqueda.
Para la planificación clásica, el agente (nuestro sistema que usa Claude Opus 5.5 para planificar y elegir acciones) resuelve los 30 de un grupo de tareas de apilamiento de bloques similares a unas con las que los modelos de frontera tuvieron dificultades hace unos años, usando descripciones de texto. También resuelve 30 de 30 mientras observa repetidamente imágenes de cámara y elige su siguiente acción en un bucle cerrado.
En la configuración de búsqueda y deletreo, el agente tenía que generar pilas que deletrearan palabras de tres letras. Tenía que encontrar los bloques con las letras correspondientes entre hasta ocho bloques en la escena. Es importante destacar que el 50% de las escenas no tenían bloques con todas las letras requeridas, haciendo la tarea inviable. En este caso, exigimos al agente que declarara que la tarea es inviable. Encontramos que en este experimento, el agente pudo resolver con éxito o declarar correctamente como inviable el 63% de las tareas. Los errores se debieron principalmente a que el agente confundía letras con letras parecidas (13%) o elegía una orientación incorrecta para una letra en una pila (15%).
Nuestros resultados también muestran que el agente pudo resolver la tarea de manera más eficiente cuando los bloques tenían regularidades semánticas, o patrones, aprovechando dichos patrones para razonar sobre caras ocluidas. Por ejemplo, en la mayoría de las escenas inviables, cuando los bloques no tenían patrones, el agente correctamente observó todas las caras de los bloques antes de declarar la inviabilidad, mientras que pudo declarar la inviabilidad significativamente más rápido cuando los bloques tenían patrones semánticos.
Nuestro tercer escenario experimental pregunta si un agente puede aprender cómo se comportan sus habilidades, usando experimentos como lo haría un científico. Cuando una habilidad se comporta de manera inesperada, el agente formula una hipótesis, diseña una pequeña prueba y revisa su comprensión a partir del resultado. Ampliamos esta idea haciendo que un agente ejecute sus propios experimentos y escriba sus propias descripciones de habilidades basándose en lo que encuentra. Estas descripciones aprendidas elevan la tasa de éxito del 24% con las descripciones predeterminadas al 63%, superando el 36% logrado con descripciones escritas por un experto humano.
Proporción de caras de los bloques de letras que el agente había expuesto al final de cada episodio de “buscar y deletrear” (barras promediadas sobre 20 episodios; un marcador por episodio, con estilo según el resultado). En una tarea factible, cada letra de la palabra objetivo de tres letras está presente; en una tarea inviable, falta una letra y el agente debe decirlo. Cada bloque con patrón lleva instancias de una letra en mayúscula y minúscula, además de imágenes que comienzan con esa letra (p. ej., bloque A: apple, ant, A, 1, airplane, a); las seis caras de un bloque sin patrón están aleatorizadas y no están relacionadas. Correcto: la torre deletreó la palabra, o, en tareas inviables, el agente declaró correctamente que la tarea era imposible. Letra girada o parecida: el agente construyó la torre, pero una letra estaba girada o se sustituyó por una parecida, incluidas cinco tareas inviables declaradas resueltas con una letra parecida en el lugar de la letra faltante. Bloque fuera de alcance; reportado: un bloque necesario fue empujado fuera del alcance del brazo, por lo que el agente reportó que su tarea se había vuelto imposible. Sin reporte: el agente agotó su presupuesto de habilidades motoras y se detuvo sin afirmar ninguno de los dos resultados. Con bloques con patrón, el agente termina habiendo visto menos caras, porque puede inferir lo que deben mostrar las caras ocultas en lugar de verificar cada una.
Modelos del mundo condicionados por acciones como simuladores
Los modelos del mundo condicionados por acciones se entrenan para predecir cómo cambia una escena en respuesta a las acciones de un robot. Usarlos como alternativa a los simuladores basados en modelos para entrenar y evaluar políticas de robots es un área activa de investigación. Qué tan bien sirven para este propósito depende de qué tan con precisión predicen las interacciones físicas, lo cual es difícil de medir sin conocer el estado real de la escena. ToyBlocks proporciona esta verdad de terreno: el estado real de la escena simulada, lo que permite pruebas altamente controladas del desempeño de los modelos del mundo desarrollados recientemente en la manipulación de objetos de bajo nivel. Aquí, el efector final del brazo es su pinza.
Específicamente, probamos si los modelos del mundo condicionados por acciones son capaces de predecir los movimientos de los bloques o los resultados de las ejecuciones de habilidades después de ser entrenados con ejecuciones de ejemplo. Para hacerlo, elegimos cuatro habilidades diferentes (tomar y colocar, voltear, rotar y una tarea mixta) y generamos 900 trayectorias –secuencias de estados y acciones del robot a lo largo del tiempo– para cada habilidad. El 50% de estas trayectorias eran demostraciones exitosas de la habilidad, y el 50% no tuvieron éxito debido a pequeños cambios en las configuraciones espaciales. Con números iguales de ejecuciones exitosas y no exitosas, un modelo que siempre predice éxito acertaría solo la mitad de las veces. Los modelos se ajustaron finamente con estas demostraciones y luego se les probó en su capacidad de predecir el resultado de secuencias de acciones de las mismas habilidades.
Encontramos que Wan 2.2 predice el movimiento de los bloques y los resultados de las tareas con mayor precisión. Astra sigue bien la pinza pero le cuesta simular el contacto. LeWM es rápido y más preciso en segmentos cortos de interacción, aunque se desvía en trayectorias completas. En experimentos adicionales, también mostramos que los modelos que puntúan más alto en la predicción de pose y éxito también producen mejores datos de entrenamiento: añadir 100 trayectorias generadas por el modelo (rollouts) del mejor modelo de generación de video eleva el éxito de una política en una región no vista del 19% al 78%.
Probamos tres tipos de modelos: un modelo de predicción de video con 5 mil millones de parámetros (Wan 2.2), un modelo agéntico que creó su propio simulador de física ajustado para coincidir con los datos de demostración (Astra), y un modelo del mundo latente (LeWM). Durante las pruebas, cada modelo entrenado debe predecir imágenes futuras, estados del simulador o estados latentes (representaciones internas aprendidas), respectivamente, basándose en una imagen inicial y una secuencia de acciones. Para trayectorias completas, los modelos usan la imagen inicial como la única imagen observada, junto con la secuencia de acciones. Para segmentos cortos de interacción –una sola toma, colocación, volteo o rotación– los modelos parten de la imagen real inmediatamente anterior a esa interacción. Las trayectorias completas muestran cómo se acumulan los errores en horizontes largos, mientras que los segmentos de interacción aíslan una única interacción, como la pinza haciendo contacto con un bloque, y muestran qué tan bien la predice el modelo. Para comparar los modelos de manera justa, sondeamos las predicciones de cada modelo, leyendo dónde espera que estén los bloques y la pinza en diferentes puntos de la trayectoria y si espera que la tarea tenga éxito al final.
Experimentos del mundo real con modelos de alto y bajo nivel
Las evaluaciones sim-to-real prueban políticas entrenadas en simulación en robots físicos que realizan tareas de manipulación de bloques. Al comparar la ejecución en simulación y en el mundo real, evaluamos si los comportamientos y patrones de fallo observados en la simulación proporcionan indicaciones significativas del rendimiento en el mundo real. Por ejemplo, los investigadores pueden evaluar habilidades individuales y su composición en tareas de horizonte más largo para identificar dónde surgen los fallos y si estos patrones se trasladan a los despliegues físicos.
Probamos si los modelos entrenados completamente con conjuntos de datos de simulación de ToyBlocks pueden desplegarse en el mundo real de forma zero-shot, sin entrenamiento con ejemplos del mundo real. Evaluamos ManiFlow y cada habilidad de bajo nivel (pick, place, flip y rotate) individualmente. Probamos si el sistema jerárquico (Molmo 2 + ManiFlow) puede completar tareas de ortografía de tres bloques de horizonte largo que requieren secuencias de estas acciones. Los experimentos del mundo real utilizan un brazo Franka FR3 con una pinza Robotiq a lo largo de treinta configuraciones de escena. Cada escena contiene 4–10 bloques vistos durante el entrenamiento. Un episodio solo se considera exitoso si los bloques relevantes se mueven a las poses objetivo sin colisiones. Si el operador interviene para detener el robot debido a un movimiento inseguro durante un episodio, este se marca como fallo.
Las tasas de éxito de las habilidades atómicas de ManiFlow fueron similares en la simulación y en el mundo real (80.0% y 81.1%). El sistema jerárquico Molmo 2 + ManiFlow tuvo éxito en el 55.5% de los episodios simulados (111/200) y en el 50.0% de los episodios del mundo real (15/30); se necesitan más pruebas para establecer confianza estadística en todas las tareas.
Tasas de éxito del modelo de bajo nivel ManiFlow y del sistema jerárquico Molmo 2–ManiFlow en la simulación y en el mundo real. Para ManiFlow, el recuento total representa ejecuciones individuales de habilidades (pick, place, flip y rotate), mientras que para Molmo 2–ManiFlow representa episodios de la tarea de ortografía de bloques. Las evaluaciones de Molmo 2–ManiFlow utilizan la configuración de escena más fácil definida en la evaluación de la simulación, con los caracteres de los bloques visibles y en posición vertical.
Ejecuciones lado a lado en el mundo real y en la simulación de apilamiento de bloques utilizando el mismo planificador de alto nivel. Los anillos rosados marcan el punto objetivo del planificador para cada habilidad. Las escenas usan etiquetas de bloques diferentes, y la reproducción de la simulación se retemporiza para alinear los agarres y liberaciones con el robot real.
Para transferir Molmo 2 y ManiFlow – ambos entrenados exclusivamente con datos de ToyBlocks – a un robot físico, abordamos las diferencias entre la simulación y la realidad en tres etapas.
Antes de la generación de datos, realizamos identificación del sistema ajustando los parámetros del robot simulado, incluida la fricción de las articulaciones y la armadura (la inercia del motor y la caja de cambios reflejada en la articulación), para coincidir con las trayectorias del robot real. Durante la generación de datos, aleatorizamos propiedades físicas (tamaño de los objetos, fricción y altura de la mesa) y propiedades visuales (iluminación, fondos, materiales y parámetros de la cámara). En el momento de la inferencia, las observaciones se capturan utilizando una cámara ZED frontal y una ZED Mini montada en la muñeca. Para las políticas que utilizan imágenes de profundidad, generamos mapas de profundidad limpios, que estiman la distancia en cada píxel, a partir de pares de imágenes de cámara rojo-verde-azul (RGB) utilizando FastFoundationStereo, en lugar de depender de mediciones ruidosas de sensores de profundidad.
La configuración física de ToyBlocks: un brazo robótico, bloques de madera y una cámara.
Abrir las herramientas para más investigación
ToyBlocks conecta la generación de datos, el entrenamiento y la evaluación en un entorno controlado, de modo que los investigadores pueden investigar cómo aprenden los robots con el tiempo y probar cómo los cambios en un modelo o en sus datos de entrenamiento afectan el comportamiento del robot. Estamos publicando los recursos de simulación, generadores procedurales de tareas y demostraciones, demostraciones generadas automáticamente, dos modelos entrenados que muestran lo que el marco puede hacer (uno basado en Molmo 2 y otro basado en ManiFlow), código de entrenamiento, y código de evaluación y conjuntos de validación. Esto permite que otros equipos construyan sus propias mezclas de entrenamiento e investiguen modos de fallo más allá de los cubiertos en nuestros experimentos iniciales.
Nuestra publicación inicial de datos es una prueba de concepto con 85,336 demostraciones de horizonte largo, cada una compuesta por aproximadamente 6–12 demostraciones de habilidades, según el conjunto. Los conjuntos de datos iniciales cubren casi 1,600 horas de datos de ejecución de robots y 144 millones de fotogramas. En unas pocas semanas, apuntamos a una segunda publicación con un conjunto de datos a mayor escala, más habilidades y un benchmarking más completo. También añadiremos una capacidad de entrenamiento RL totalmente integrada que no está contenida en el paquete actual.
Otras direcciones para ToyBlocks incluyen la manipulación bimanual (de dos brazos) y manos robóticas diestras, equipadas con sensores de fuerza y de tacto para estudiar el movimiento y las tareas que implican contacto físico frecuente. También estamos explorando el juego con pilas de bloques no estructuradas como una forma de recopilar datos y estudiar cómo podrían surgir nuevos comportamientos y tareas a través de la interacción.
Dirección futura: manipulación de pilas basada en RL.
Dirección futura: manipulación bimanual de bloques.
Con ToyBlocks, queremos avanzar la ciencia del aprendizaje robótico hacia un futuro donde los robots puedan aplicar de manera confiable lo que han aprendido a tareas y entornos no familiares. Alentamos a la comunidad investigadora a explorar ToyBlocks para sus propias investigaciones e incluso como base para construir sus propios FoundationWorlds.