Autor丨Qi Chengyong
Editor丨Cen Feng
Recientemente, ha sido muy intensa la discusión en la industria embodida sobre "la posibilidad de realizar post-entrenamiento sin cuerpo físico". Hasta ahora, ningún equipo en China o en el extranjero ha presentado una solución viable. Dicho sin rodeos, tanto los grandes modelos como los robots embodidos no pueden ser verdaderamente útiles solo con la base del preentrenamiento; la implementación final depende por completo del ajuste del "post-entrenamiento". Dong Hao, científico jefe de Qiyuan Robotics, dijo a AI Technology Review: "El preentrenamiento eleva el límite inferior; para el límite superior hay que mirar el post-entrenamiento". Las empresas de robótica embodida persiguen actualmente aterrizajes reales como trabajar en fábricas o limpieza del hogar, y lo que compiten es la tasa de éxito, es decir, se miden las fuerzas del post-entrenamiento. Pero la dificultad del post-entrenamiento reside en que debe lidiar con el mundo físico real; en el pasado siempre se necesitaban datos puramente de robots físicos. Sin embargo, el costo del entrenamiento con robots físicos es demasiado alto: para desplegarlo a gran escala, con tantos cuerpos de robot, el desgaste del hardware, los espacios y la mano de obra cuestan fortunas. Por eso, la industria ya ha empezado a orientar el preentrenamiento hacia la recolección de datos con dispositivos "sin cuerpo físico"; aunque la cantidad aumentó, el paso clave del post-entrenamiento tradicional, la "corrección de errores", no se ha podido resolver. Para resolver este problema de la industria, el equipo de Dong Hao de la Universidad de Pekín y Qiyuan Robotics lanzó HIL-UMI. Este trabajo se centra en el supuesto de un post-entrenamiento embodido sin cuerpo físico, y se desarrolla en torno al paso más crucial: la "corrección de errores". Dirección del artículo: https://arxiv.org/pdf/2609.20659 Página del proyecto: https://hil-umi.github.io
01
El costo del post-entrenamiento embodido,
¿por qué supera con mucho al RLHF de los grandes modelos?
En comparación con los grandes modelos, el post-entrenamiento en la industria embodida es demasiado caro, y esa es una razón importante por la que muchos modelos embodidos no pueden intentar el Scaling. Todos sabemos por qué los grandes modelos de lenguaje se han vuelto tan útiles: no solo por el gran volumen de datos de preentrenamiento; más crucial es el mérito del "post-entrenamiento" posterior, como RLHF (aprendizaje por refuerzo con retroalimentación humana, que puede entenderse simplemente como anotación de datos) y DPO. Pero el post-entrenamiento de los robots embodidos cuesta más de cien veces que el RLHF de los grandes modelos. Para hacer RLHF con un gran modelo, basta con contratar a más personas para que se sienten frente al ordenador y hagan clics y selecciones; con un robot embodido, en cambio, hay que lidiar en serio con el mundo físico. Tomemos el DAgger, tradicionalmente el más usado, es decir, el modo de post-entrenamiento que emplea humanos o algoritmos como expertos evaluadores: este proceso, aunque eficaz, es caro y lento. Lo más habitual es el human-in-the-loop con robot físico tradicional (es decir, HG-DAgger: Human-Gated DAgger): el brazo robótico está operando, el operador humano se sienta al lado, observando con gran tensión, y toma el control de emergencia cuando está a punto de agarrar al vacío o de chocar, grabando la trayectoria correcta; así es como el humano supervisa todo el bucle de entrenamiento. Lo más engorroso es que, después de cada corrección, hay que restaurar manualmente el escenario desordenado por los choques. Esperar a que el robot ejecute, intervenir manualmente, restablecer el entorno: una tarde entera sentado y sin muchos datos utilizables. La mayor parte de ese tiempo se consume en los movimientos torpes del robot y en el restablecimiento manual del entorno. Este modo lento y costoso ha convertido la recolección de datos de post-entrenamiento a escala en un viejo problema, limitando gravemente la escalabilidad. Esto plantea una pregunta central: ¿podemos prescindir del robot físico y recolectar, como quien hace las tareas domésticas de manera cotidiana, los datos de "corrección de errores" que el modelo más necesita?02
La lógica subyacente de HIL-UMI:
añadir un "cerebro de modelo" a la recolección con UMI
El enfoque de HIL-UMI es muy inteligente y se resume en una frase: "sin usar el robot, también se puede darle clases particulares al robot". HIL-UMI significa Human-In-the-Loop (humano en el bucle) UMI. A diferencia del uso habitual de UMI (pinza de mano) para recolectar datos, la recolección de HIL-UMI no es "a ciegas", sino que incorpora un modelo. HIL-UMI conecta el modelo directamente a este proceso de recolección manual: en el mundo real solo se mueve el humano: el operador sostiene la pinza UMI y trabaja con normalidad (por ejemplo, agarrar juguetes, doblar toallas), mientras la cámara graba las imágenes de forma sincronizada. El modelo "imagina" en segundo plano: el modelo recibe las mismas imágenes e instrucciones de tarea, y predice rápidamente en segundo plano "si fuera yo, cómo haría los siguientes 20 pasos de acción", pero no controla realmente ningún brazo robótico. Ante cualquier divergencia se dispara de inmediato una alerta: el sistema compara en tiempo real en segundo plano las acciones reales del humano con las acciones predichas por el modelo. Si ambas coinciden aproximadamente, significa que el modelo ya lo domina y no hace falta grabar de nuevo; en cuanto el sistema detecta que la trayectoria "imaginada" por el modelo se desvía gravemente de la operación real del humano (lo que indica que el modelo es un "novato" en ese escenario), el sistema advierte de inmediato al operador: "¡El modelo no sabe hacer este tramo, enseña un segmento más desde aquí!" Con la pinza de mano y el equipo de recolección, en todo el proceso no hace falta que haya un brazo robótico presente, y mucho menos que el robot cometa realmente un error. Mientras el humano hace la demostración, se capturan de forma dirigida los escenarios en los que el modelo probablemente fallaría en el despliegue real.03
No es solo contar herramientas de recolección,
es la rueda de datos del post-entrenamiento
Si solo se entendiera HIL-UMI como una grabadora de mano, se subestimaría. Su verdadera fortaleza es haber establecido un sistema de bucle cerrado que permite al modelo generar por sí mismo su "cuaderno de errores". Este bucle cerrado se apoya en dos pilares técnicos:Primer paso: detección de divergencia de acciones (capturar los puntos ciegos). Ante una misma situación, la manipulación robótica suele tener múltiples posturas razonables. HIL-UMI no mira una sola predicción, sino que muestrea en paralelo varios bloques de acción para calcular la "distribución de energía" (Energy Score). Si el modelo está seguro de sí mismo, la distribución de acciones será muy convergente; en cuanto el modelo produce acciones dispersas y muy desviadas de las humanas, el sistema determina que el modelo ha entrado en un "estado fuera de distribución (OOD)" y activa con decisión la grabación complementaria.Segundo paso: estimador de ventaja (distinguir acciones efectivas de movimientos sin sentido). No basta con aprender a moverse; hay que saber si la acción contribuye al avance de la tarea. En la tarea de apilar cubos, dudar balanceando el cubo en el aire y colocarlo con precisión sobre la base son dos cosas completamente distintas. HIL-UMI introduce un estimador que evalúa el "grado de avance de la tarea" a partir de las imágenes anteriores y posteriores, y emplea entrenamiento con "condición de ventaja": le dice al modelo que no solo debe aprender esta corrección, sino que debe aprender preferentemente aquellas acciones que impulsen sustancialmente el progreso de la tarea. El verdadero bucle cerrado está en la "actualización dinámica": tras cada ronda de suplemento dirigido de datos, el modelo completa una iteración. En la siguiente ronda de recolección, el modelo se ha vuelto más inteligente y los puntos que antes lo atascaban ya no activan alarmas; en cambio, sus puntos de divergencia con el humano se desplazan hacia escenarios de frontera más profundos y difíciles. El modelo revela constantemente nuevos puntos ciegos, el humano hace demostraciones dirigidas, el modelo evoluciona de nuevo, y toda la cadena de producción se auto-itera como una bola de nieve, abandonando por completo la ineficiencia de "amasar a ciegas cantidades masivas de datos positivos".04
Comparación de rutas del post-entrenamiento sin cuerpo físico
Para entender HIL-UMI de manera más objetiva, debemos compararlo con las principales rutas actuales de la industria: Teleoperación con robot físico y DAgger con robot físico: los datos son los más fieles, pero el costo por unidad es alto, la depreciación grande y la barrera de operación elevada; llevarlo a una escala de decenas de miles de unidades es prácticamente imposible. Simulación (Sim2Real) y aprendizaje por refuerzo: la potencia de cómputo es barata y puede generar grandes cantidades de datos, pero con objetos blandos (como ropa), fricción e iluminación compleja, la brecha de simulación (Sim-to-Real Gap) sigue siendo un abismo, y además no puede sustituir al post-entrenamiento con robot físico. Preentrenamiento masivo con videos: escala ilimitada, pero carece de información mecánica física y de dimensiones de acción precisas; sirve sobre todo para dotar al modelo de "percepción de sentido común" y no puede convertirse directamente en control preciso de nivel milimétrico; se usa habitualmente para el preentrenamiento. UMI tradicional (recolección positiva sin cuerpo físico): barato y accesible para todos, pero solo puede recolectar ejemplos positivos y no puede resolver el problema de la recuperación del modelo ante errores de cola larga; solo sirve como preentrenamiento. HIL-UMI se sitúa justo en un punto óptimo: toma el bajo costo y la facilidad de escalado de UMI, toma la capacidad de corrección dirigida de errores de DAgger, y al mismo tiempo se deshace de las desventajas de ambos.05
Eficiencia multiplicada por 5.63,
el post-entrenamiento ya no necesita girar en torno al brazo robótico
Si las cuentas de ingeniería salen, se entiende con dos comparaciones: clases dirigidas vs. aprendizaje ciego adicional: en pruebas de cuatro tareas en un brazo robótico real (doblar toallas, ordenar el escritorio, apilar cubos, sellar con sello), con el mismo presupuesto de fotogramas de datos, el ajuste fino SFT convencional que añade continuamente demostraciones ordinarias solo hizo que la puntuación media de progreso de la tarea (TPS) pasara a paso de tortuga de 44.3 a 58.0; con el mecanismo de corrección dirigida de HIL-UMI, la puntuación media se disparó directamente a 94.8. En las tareas que más ponen a prueba la precisión, apilar cubos y sellar, la tasa de éxito alcanzó los 100 puntos. La eficiencia de recolección se multiplicó directamente por 5.63: se puede ver que el eje horizontal va del modelo inicial Base a las tres rondas de actualización Iter1—Iter3, y el eje vertical es la puntuación de progreso de la tarea. En morado, SFT; en naranja, HIL-UMI sin el mecanismo de ventaja; en verde, HIL-UMI completo; a la derecha, la puntuación media de las cuatro tareas. En la tarea de larga duración y enorme complejidad de "ordenar el escritorio", recolectar un fotograma de datos válido con HG-DAgger en robot físico toma 412.99 milisegundos, mientras que HIL-UMI solo necesita 73.40 milisegundos: la eficiencia de recolección por unidad de tiempo aumentó nada menos que 5.63 veces; al fin y al cabo, recolectar directamente con la mano humana es mucho más cómodo que recolectar controlando a distancia un robot. (Lei Feng Wang (cuenta pública: Lei Feng Wang)) El gráfico izquierdo muestra la puntuación media de las cuatro tareas según el tiempo acumulado de recolección; el derecho, el rendimiento de cada método a lo largo de las fases de entrenamiento en la tarea de ordenar el escritorio. Ese tiempo ahorrado, más de 5 veces, era todo "desperdicio inefectivo" anterior: el lento movimiento del brazo robótico, la espera del operador y la restauración manual de la escena. En nuestra opinión, la imaginación comercial más importante está en: la teleoperación con robot físico exige una destreza muy alta de los operarios, y el más mínimo temblor produce datos de baja calidad; mientras que la pinza de mano "la gente sabe usarla por naturaleza, con trayectorias de altísima calidad". Esto significa que el post-entrenamiento tiene por primera vez la posibilidad de ser "distribuido". En el futuro, podría haber personas a tiempo parcial, en viviendas comunes de todo el país, realizando movimientos cotidianos con equipos sencillos de unos cientos de yuanes, conectadas en segundo plano a un mismo gran modelo en la nube; en cuanto el modelo detectara divergencia de acciones en alguien, capturaría silenciosamente ese pequeño fragmento de datos diferenciales de alta calidad y lo transmitiría de vuelta. El post-entrenamiento embodido, por fin, ya no necesita que todos estén en el laboratorio completándolo con brazos robóticos.06
"El desarrollo futuro del post-entrenamiento,
se mide en velocidad y eficiencia"
En la entrevista, Dong Hao, científico jefe de Qiyuan Robotics, dio un juicio que va muy en contra del consenso:A su juicio, al igual que cuando DeepMind hizo AlphaGo, al principio se usaron partidas para el aprendizaje por imitación (preentrenamiento), pero lo que realmente lo consagró fue la fase posterior de postentrenamiento con autojuego a gran escala mediante aprendizaje por refuerzo. Con los actuales grandes modelos de robótica ocurre lo mismo: el preentrenamiento resuelve la construcción de la visión del mundo inicial, con una ruta relativamente clara; pero, de cara al futuro, quién logre realmente avanzar hacia la generalización y una tasa de éxito extrema dependerá por completo de un «postentrenamiento escalable». Si en los últimos dos años la inteligencia embodied competía por quién «encendía» primero al robot con un gran modelo, en la segunda mitad de la competencia la clave será quién pueda construir la red de corrección de errores del robot con el menor costo marginal y la mayor velocidad. En este punto de inflexión crucial en el que los modelos embodied pasan de «poder ejecutar una Demo» a «entrar en millones de hogares», ¿qué juegan las empresas exactamente? ¿Cómo evolucionarán la próxima generación de modelos base y los sistemas de postentrenamiento? Próximamente también traeremos una entrevista exclusiva con Dong Hao, profesor asociado de la Universidad de Pekín y científico jefe de Qiyuan Robotics, para hablar de la fusión y complementariedad entre la academia y la industria de la inteligencia embodied. Estén atentos. (LeiFeng.com)"El preentrenamiento y el post-entrenamiento no son una simple relación de proporción; son una alternancia de etapas."
Súbete y te mostramos lo mejor de las principales conferencias mundiales de IA
Acceso exclusivo a:
PPT de ponencias de expertos
Textos completos de los informes de las conferencias
Análisis de los artículos más populares
Entrevistas a nuevas estrellas académicas
Escanea el código QR de arriba
o haz clic en «Leer el original» para seguir la sección especial.
Artículos originales de LeiFeng.com; prohibida su reproducción sin autorización. Para más detalles, consulteAviso de reimpresión。