Découvrez Kyutai REKI : le modèle VLA de 2.4B qui apporte une mémoire efficace à la manipulation robotique

Kyutai, avec Inria et l'École des Ponts, a publié REKI, un modèle de 2.4B vision-langage-action (VLA) de 2.4B pour la manipulation robotique. Le modèle vision-langage-action REKI est pré-entraîné uniquement sur des données publiques. Il dispose également d'une mémoire peu coûteuse de son passé récent. Sur trois benchmarks hors distribution, seuls des modèles environ deux fois plus grands l'ont surpassé. Tous les poids sont disponibles en ligne sur Hugging Face dès aujourd'hui.

TL;DR

• Taille : 2.4B paramètres (2.2B Qwen3.5-2B VLM + 0.2B expert d'action par flow matching). La mémoire couvre les 3 dernières images, espacées de 1 s.
• Fonctionne sur : Évalué sur 1 NVIDIA H100. 21.8 ms par bloc d'action, compilé, à partir de 2 caméras en 256×256. Les poids sont fournis en BF16. Aucune variante quantisée annoncée.
• Performance : Le meilleur parmi les VLA pré-entraînés sur des données publiques sur LIBERO-Plus et RoboTwin Clean2Rand.
• Meilleur : 90.4 % sur LIBERO-Plus, le meilleur score de la comparaison de Kyutai.
• Pire : 38.4 % sur RoboCasa365, bien derrière Xiaomi-Robotics-1 (57.4 %).

Qu'est-ce que REKI ?

REKI est un modèle vision-langage-action de Kyutai qui transforme des vues caméra et une instruction en actions robotiques. Il associe un backbone Qwen3.5-2B à un expert d'action de 200M paramètres. L'expert génère des blocs d'action par flow matching, intégré en 10 étapes d'Euler. L'état du robot et le temps de flux entrent via une RMSNorm adaptative. Chaque disposition d'état robot dispose de son propre petit MLP d'état.

Comment fonctionne la mémoire de REKI ?

La plupart des VLA agissent uniquement sur l'image courante. Les méthodes de mémoire antérieures envoient les images passées au VLM, déploient l'entraînement, ou ajoutent des modules. Chaque option ajoute un coût.

REKI place la mémoire à l'intérieur de l'expert d'action. Avant les jetons d'action de chaque image se trouvent 32 jetons registre appris. Ils portent une attention croisée sur l'invite encodée et les vues de cette image. Ils portent également une auto-attention sur les registres des images antérieures.

Les registres ne lisent jamais les jetons d'action. Ils dépendent donc uniquement des observations, pas du temps de flux ni de l'état du robot. Ils sont calculés une fois par image et mis en cache dans une fenêtre glissante.

Le coût est faible, selon le page du projet:

• La lecture des registres en cache ajoute 0,1 ms à un segment de 21,8 ms.
• Le cache utilise environ 2 Mio de mémoire GPU par trame passée.
• L'entraînement regroupe une fenêtre de 3 images en 1 passe groupée.

La mémoire corrige également un mode de défaillance. Sans elle, les bras oscillent souvent entre 2 poses. Sur RoboTwin, les épisodes oscillants passent de 18,6 % à 4,1 % avec la mémoire. Kyutai attribue cela à l'aliasing perceptuel.

Comment REKI se comporte-t-il sur les benchmarks ?

REKI est pré-entraîné une fois, puis affiné séparément pour chaque benchmark. Les scores ci-dessous proviennent de la fiche modèle et de la page du projet.

• LIBERO-Plus : 90,4 %, devant Qwen-RobotManip (89,0 %) et π0.5 (85,7 %).
• RoboTwin Clean2Rand : 65,8 %, derrière seulement Qwen-RobotManip (68,5 %).
• RoboCasa365 : 38,4 %, devant RLDX-1 (36,0 %) et Qwen-RobotManip (35,9 %).
• LIBERO (4 suites) : 97.6%.
• RoboTwin 2.0 Easy / Hard : 85.9% / 84.6%.

Le pré-entraînement aide surtout hors distribution. Il ajoute 13,8 points sur Clean2Rand et 30,3 en environnement encombré. La mémoire ajoute 1,5 point sur LIBERO-Plus et 5,4 sur RoboCasa365.

Comment REKI se compare-t-il aux autres VLA ?

Remarques : Les moyennes Clean2Rand sont calculées à partir des 6 conditions du Tableau 5 du rapport Qwen-RobotManip. Le rapport Qwen indique π0.5 à 84.4 sur LIBERO-Plus.

Sur quelles données REKI a-t-il été entraîné ?

Le mélange contient 1.0B d'images plus 12.2M d'échantillons vision-langage. La téléopération de robots réels fournit 639.8M d'images, la simulation 193.9M et la vidéo humaine egocentrée 170.9M. Les sources incluent DROID, BridgeData V2, AgiBot World, EgoDex et EgoVerse. Le pré-entraînement a été effectué sur 200,000 pas avec 32 GPU H100. Kyutai conserve la convention de contrôle native de chaque jeu de données plutôt que de remapper les actions.

Comment déployer REKI ?

Six checkpoints sont listés : la base pré-entraînée plus des finetunings pour LIBERO, RoboTwin (2 variantes), RoboCasa365 et RoboCasa-GR1. Le déploiement sur robot réel utilise le protocole async-inference de LeRobot gRPC. Sur un bras UR5, REKI a été finetuné pendant 3k pas (1 heure) sur 50 démonstrations par tâche.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="put the bowl on the plate")

Points clés

• REKI est un VLA de 2.4B pré-entraîné uniquement sur des données publiques.
• Il obtient 90.4 % sur LIBERO-Plus, le meilleur du comparatif de Kyutai.
• 32 tokens de registre en cache coûtent 0.1 ms de mémoire supplémentaire.
• La mémoire réduit les oscillations de pose de 18.6 % à 4.1 % sur RoboTwin.
• Les poids sont ouverts mais non commerciaux (CC BY-NC-SA 4.0).

Consultez le Papier, Page du projet, Poids du modèle et dépôt GitHub. Tout le mérite revient au chercheur de ce projet. N’hésitez pas également à nous suivre sur Twitter et n’oubliez pas de rejoindre notre SubReddit ML de plus de 150k membres et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.

L’article Découvrez Kyutai REKI : le modèle VLA de 2.4B qui apporte une mémoire efficace à la manipulation robotique est apparu en premier sur MarkTechPost.