Conoce Kyutai REKI: el modelo VLA de 2.4B que lleva memoria eficiente a la manipulación robótica

Kyutai, junto con Inria y École des Ponts, ha lanzado REKI, un modelo de 2.4B visión-lenguaje-acción (VLA) de 2.4B para manipulación robótica. El modelo de visión-lenguaje-acción REKI está preentrenado únicamente con datos públicos. También incorpora una memoria barata de su pasado reciente. En tres benchmarks fuera de distribución, solo modelos de aproximadamente el doble de su tamaño lo superaron. Todos los pesos están disponibles en Hugging Face desde hoy.

TL;DR

• Tamaño: 2.4B de parámetros (2.2B Qwen3.5-2B VLM + 0.2B experto de acción de flow matching). La memoria cubre las últimas 3 imágenes, separadas 1 s.
• Funciona en: Evaluado en 1 NVIDIA H100. 21.8 ms por fragmento de acción, compilado, a partir de 2 cámaras a 256×256. Los pesos se distribuyen en BF16. No se han anunciado variantes cuantizadas.
• Rendimiento: El mejor entre los VLA preentrenados con datos públicos en LIBERO-Plus y RoboTwin Clean2Rand.
• Mejor: 90.4% en LIBERO-Plus, la puntuación más alta en la comparación de Kyutai.
• Peor: 38.4% en RoboCasa365, muy por detrás de Xiaomi-Robotics-1 (57.4%).

¿Qué es REKI?

REKI es un modelo de visión-lenguaje-acción de Kyutai que mapea vistas de cámara y una instrucción a acciones de robot. Combina un backbone Qwen3.5-2B con un experto de acción de 200M de parámetros. El experto genera fragmentos de acción mediante flow matching, integrado en 10 pasos de Euler. El estado del robot y el tiempo de flow entran a través de RMSNorm adaptativo. Cada disposición de estado del robot tiene su propio pequeño MLP de estado.

¿Cómo funciona la memoria de REKI?

La mayoría de los VLA actúan solo con la imagen actual. Los métodos previos de memoria alimentan imágenes pasadas al VLM, despliegan el entrenamiento o añaden módulos. Cada opción añade coste.

REKI coloca la memoria dentro del experto de acción en cambio. Antes de los tokens de acción de cada imagen hay 32 tokens de registroaprendidos. Estos hacen atención cruzada sobre el prompt codificado y las vistas de esa imagen. También hacen autoatención sobre los registros de imágenes anteriores.

Los registros nunca leen los tokens de acción. Por eso dependen solo de las observaciones, no del tiempo de flow ni del estado del robot. Se calculan una vez por imagen y se almacenan en una ventana deslizante.

El coste es pequeño, según el página del proyecto:

• Leer los registros en caché añade 0.1 ms a un fragmento de 21.8 ms.
• La caché usa unos 2 MiB de memoria de GPU por fotograma pasado.
• El entrenamiento empaqueta una ventana de 3 fotogramas en 1 pasada por lotes.

La memoria también corrige un modo de fallo. Sin ella, los brazos a menudo oscilan entre 2 poses. En RoboTwin, los episodios oscilantes caen del 18.6% al 4.1% con memoria. Kyutai lo atribuye a la aliasing perceptual.

¿Cómo rinde REKI en los benchmarks?

REKI se preentrena una vez y luego se ajusta finamente por separado para cada benchmark. Las puntuaciones siguientes provienen de la ficha del modelo y de la página del proyecto.

• LIBERO-Plus: 90.4%, por delante de Qwen-RobotManip (89.0%) y π0.5 (85.7%).
• RoboTwin Clean2Rand: 65.8%, solo por detrás de Qwen-RobotManip (68.5%).
• RoboCasa365: 38.4%, por delante de RLDX-1 (36.0%) y Qwen-RobotManip (35.9%).
• LIBERO (4 suites): 97.6%.
• RoboTwin 2.0 Easy / Hard: 85.9% / 84.6%.

El preentrenamiento ayuda más fuera de la distribución. Añade 13.8 puntos en Clean2Rand y 30.3 bajo desorden. La memoria añade 1.5 puntos en LIBERO-Plus y 5.4 en RoboCasa365.

¿Cómo se compara REKI con otros VLAs?

Notas: Clean2Rand means se calculan a partir de las 6 condiciones de la Tabla 5 del informe Qwen-RobotManip. El informe de Qwen sitúa a π0.5 en 84.4 en LIBERO-Plus.

¿Con qué datos se entrenó REKI?

La mezcla contiene 1.0B de fotogramas más 12.2M de muestras de visión-lenguaje. La teleoperación de robots reales aporta 639.8M de fotogramas, la simulación 193.9M y el vídeo humano egocéntrico 170.9M. Las fuentes incluyen DROID, BridgeData V2, AgiBot World, EgoDex y EgoVerse. El preentrenamiento se ejecutó durante 200,000 pasos en 32 GPU H100. Kyutai conserva la convención de control nativa de cada conjunto de datos en lugar de remapear las acciones.

¿Cómo se despliega REKI?

Se enumeran seis checkpoints: la base preentrenada más los ajustes finos para LIBERO, RoboTwin (2 variantes), RoboCasa365 y RoboCasa-GR1. El despliegue en robots reales utiliza el protocolo gRPC de LeRobot async-inference . En un brazo UR5, REKI se ajustó durante 3k pasos (1 hora) con 50 demostraciones por tarea.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="put the bowl on the plate")

Conclusiones clave

• REKI es un VLA de 2.4B preentrenado únicamente con datos públicos.
• Obtiene 90.4% en LIBERO-Plus, el mejor resultado en la comparación de Kyutai.
• 32 tokens de registro en caché aportan memoria con solo 0.1 ms extra.
• La memoria reduce las oscilaciones de pose de 18.6% a 4.1% en RoboTwin.
• Los pesos son abiertos pero no comerciales (CC BY-NC-SA 4.0).

Echa un vistazo al Artículo, Página del proyecto, Pesos del modelo y Repositorio de GitHub. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y Suscríbase a nuestro boletín informativo. ¡Espera! ¿estás en Telegram? ahora también puedes unirte a nosotros en Telegram.

La publicación Conoce Kyutai REKI: El modelo VLA de 2.4B que aporta memoria eficiente a la manipulación robótica apareció por primera vez en MarkTechPost.