IT之家 El 7 de noviembre, según la hora local del 4 de noviembre, el equipo de investigación de Apple presentó en la plataforma preimpresa arXiv el artículo “Perceptive Humanoid Motion from Simulation”, en el que se reveló el sistema de control autónomo para robots humanoides HALO.
El equipo de investigación también hizo públicos los códigos para la generación de datos, el entrenamiento de modelos y su despliegue, que abarcan la generación de acciones, el seguimiento de acciones, la programación de tareas, así como la simulación y el funcionamiento de robots reales.
En la fase de despliegue, el equipo de investigación utilizó el robot humano G1 de YuShu Technology, con una cubierta protectora especial para impresión 3D en la espalda, y incluyó un Mac mini (chip M4 Pro, 64GB de memoria uniforme). El Mac mini se encarga de realizar cálculos de inferencia en tiempo real en el Orchestrator (VLM) y el Motion Generator (DiT), que requieren mucho esfuerzo computacional. El chip integrado en el G1 se dedica a gestionar el Tracker (red de estrategias RL) que opera a alta frecuencia.
Durante la ejecución de la tarea, HALO está controlado por tres niveles conjuntamente. El nivel superior es el módulo de programación de tareas basado en un modelo de lenguaje visual (VLM), que por defecto utiliza Qwen3.6-35B-A3B; el sistema también puede elegir llamar a modelos en la nube a través de una API. El nivel intermedio, para la generación de acciones, utiliza otro modelo Qwen3.5-2B. El nivel inferior es un rastreador de acciones entrenado mediante aprendizaje reforzado y destilación de estrategias, que opera a una frecuencia de 50 veces por segundo.
Según lo revelado en el artículo, el equipo de investigación realizó 360 pruebas de tareas individuales en 6 entornos reales que no habían sido escaneados ni modelados previamente, con una tasa de éxito promedio del 91%.
Para las tareas compuestas de secuencias largas, se realizaron 10 pruebas en una única escena real, y la tasa de éxito promedio para 3 combinaciones fue del 70%; de ellas, la más compleja, “pasar por obstáculos de pie — dirigirse al objetivo — empujar cajas”, tuvo 5 éxitos en 10 pruebas, con una tasa de éxito del 50%.
Según se informa, el equipo de investigación utilizó 250 GPUs H100 de NVIDIA para sintetizar los datos de entrenamiento principales en aproximadamente 48 horas. El generador de acciones se entrenó mediante aprendizaje por imitación, utilizando 64 B200; el rastreador de acciones se entrenó mediante aprendizaje refuerzado y distilización de estrategias, utilizando 4 H100.
Sin embargo, los datos generados mediante simulación no se han liberado completamente de la participación humana. El equipo indicó que las tareas físicas adicionales todavía requieren la escritura manual de prompts y el diseño de fotogramas clave de acciones, y algunas acciones utilizan material de videos humanos o datos de captura de movimiento.
El equipo de investigación señaló además que, actualmente, los robots dependen principalmente de la percepción visual y tienen dificultades para percibir directamente el contacto. Cuando un objeto se aleja de la visión de la cámara o queda oculto, el rendimiento en tareas que involucran contacto disminuye. La incorporación de la percepción táctil será uno de los futuros enfoques de mejora.
IT Home incluye enlaces relacionados:
Artículo: https://arxiv.org/abs/2611.06908
Página principal del proyecto: https://apple-aiml-research.github.io/ml-halo/
Repositorio GitHub: https://github.com/apple-aiml-research/ml-halo