Meet Kyutai REKI: Das 2.4B-VLA-Modell, das effizientes Gedächtnis in die Robotermanipulation bringt

Kyutai hat zusammen mit Inria und École des Ponts veröffentlicht REKI, ein 2.4B Vision-Language-Action-Modell (VLA) für Robotermanipulation. Das REKI-Vision-Language-Action-Modell wird ausschließlich auf öffentlichen Daten vortrainiert. Es verfügt zudem über einen kostengünstigen Speicher seiner unmittelbaren Vergangenheit. Bei drei Out-of-Distribution-Benchmarks schlugen es nur Modelle, die etwa doppelt so groß sind. Alle Gewichte sind heute live auf Hugging Face verfügbar.

TL;DR

• Größe: 2.4B Parameter (2.2B Qwen3.5-2B VLM + 0.2B Flow-Matching-Action-Experte). Der Speicher umfasst die letzten 3 Frames im Abstand von 1 s.
• Läuft auf: Benchmark auf 1 NVIDIA H100. 21.8 ms pro Action-Chunk, kompiliert, von 2 Kameras bei 256×256. Gewichte werden in BF16 ausgeliefert. Keine quantisierten Varianten angekündigt.
• Leistung: Am besten unter den auf öffentlichen Daten vortrainierten VLAs bei LIBERO-Plus und RoboTwin Clean2Rand.
• Bestes Ergebnis: 90.4 % bei LIBERO-Plus, die Top-Punktzahl in Kyutais Vergleich.
• Schlechtestes Ergebnis: 38.4 % bei RoboCasa365, deutlich hinter Xiaomi-Robotics-1 (57.4 %).

Was ist REKI?

REKI ist ein Vision-Language-Action-Modell von Kyutai, das Kameraansichten und eine Instruktion auf Roboteraktionen abbildet. Es kombiniert einen Qwen3.5-2B -Backbone mit einem 200M-Parameter-Action-Experten. Der Experte erzeugt Action-Chunks per Flow Matching, integriert in 10 Euler-Schritten. Roboterzustand und Flusszeit gehen über adaptive RMSNorm ein. Jedes Roboterzustands-Layout erhält sein eigenes kleines Zustands-MLP.

Wie funktioniert REKIs Speicher?

Die meisten VLAs agieren allein auf dem aktuellen Frame. Bisherige Speichermethoden speisen vergangene Frames in das VLM, rollen das Training aus oder fügen Module hinzu. Jede Option kostet额外 Aufwand.

REKI legt den Speicher stattdessen in den Action-Experten. Vor den Action-Tokens jedes Frames sitzen 32 gelernte Register-Tokens. Sie führen Cross-Attention über den kodierten Prompt und die Ansichten dieses Frames aus. Zudem führen sie Self-Attention über die Register früherer Frames aus.

Register lesen nie Action-Tokens. Daher hängen sie nur von Beobachtungen ab, nicht von Flusszeit oder Roboterzustand. Sie werden einmal pro Frame berechnet und in einem rollierenden Fenster zwischengespeichert.

Die Kosten sind gering, laut der Projektseite:

• Das Lesen zwischengespeicherter Register fügt einem 21.8 ms Chunk 0.1 ms hinzu.
• Der Cache verwendet etwa 2 MiB GPU-Speicher pro vergangenen Frame.
• Das Training packt ein 3-Fenster-Fenster in 1 gebündelten Durchlauf.

Der Speicher behebt außerdem einen Fehlermodus. Ohne ihn oszillieren die Arme oft zwischen 2 Posen. Auf RoboTwin sinken oszillierende Episoden mit Speicher von 18.6% auf 4.1%. Kyutai führt dies auf perceptuelle Aliasing zurück.

Wie schneidet REKI bei Benchmarks ab?

REKI wird einmal vortrainiert und dann separat je Benchmark feinabgestimmt. Die folgenden Werte stammen aus der Modellkarte und der Projektseite.

• LIBERO-Plus: 90.4%, vor Qwen-RobotManip (89.0%) und π0.5 (85.7%).
• RoboTwin Clean2Rand: 65.8%, nur hinter Qwen-RobotManip (68.5%).
• RoboCasa365: 38.4%, vor RLDX-1 (36.0%) und Qwen-RobotManip (35.9%).
• LIBERO (4 Suiten): 97.6%.
• RoboTwin 2.0 Easy / Hard: 85.9% / 84.6%.

Das Vortrainieren hilft außerhalb der Verteilung am meisten. Es bringt 13.8 Punkte auf Clean2Rand und 30.3 unter Clutter. Der Speicher bringt 1.5 Punkte auf LIBERO-Plus und 5.4 auf RoboCasa365.

Wie vergleicht sich REKI mit anderen VLAs?

Anmerkungen: Clean2Rand means werden aus den 6 Bedingungen in Tabelle 5 des Qwen-RobotManip-Berichtsberechnet. Der Qwen-Bericht listet π0.5 mit 84.4 auf LIBERO-Plus.

Auf welchen Daten wurde REKI trainiert?

Die Mischung umfasst 1.0B Frames plus 12.2M Vision-Language-Samples. Teleoperation mit echten Robotern liefert 639.8M Frames, Simulation 193.9M und egozentrisches Human-Video 170.9M. Zu den Quellen gehören DROID, BridgeData V2, AgiBot World, EgoDex und EgoVerse. Das Pretraining lief 200,000 Schritte auf 32 H100 GPUs. Kyutai behält die native Steuerungskonvention jedes Datensatzes bei, statt Actions umzumappen.

Wie deployt man REKI?

Sechs Checkpoints sind aufgelistet: die vor trainierte Basis plus Finetunes für LIBERO, RoboTwin (2 Varianten), RoboCasa365 und RoboCasa-GR1. Der Einsatz auf echten Robotern nutzt das LeRobot async-inference gRPC-Protokoll. Auf einem UR5-Arm wurde REKI für 3k Schritte (1 Stunde) auf 50 Demonstrationen pro Task finetuned.

from reki import RekiPolicy

policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset()  # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
                         state=proprio, task="put the bowl on the plate")

Kernerkenntnisse

• REKI ist ein 2.4B VLA, das ausschließlich auf öffentlichen Daten vor trainiert wurde.
• Es erreicht 90.4% auf LIBERO-Plus, Spitzenplatz in Kyutais Vergleich.
• 32 zwischengespeicherte Register-Token kosten nur 0.1 ms zusätzlichen Speicherbedarf an Zeit.
• Der Speicher reduziert Pose-Oszillationen auf RoboTwin von 18.6% auf 4.1%.
• Die Gewichte sind offen, aber nicht-kommerziell (CC BY-NC-SA 4.0).

Schaut euch die Paper, Projektseite, Modell-Gewichte und GitHub-Repoan. Alle Credits gehen an die Forscher dieses Projekts. Folgt uns gerne auf Twitter und vergesst nicht, unserem 150k+ ML SubReddit beizutreten und unseren Newsletter zu abonnieren unseren Newsletter. Moment! Seid ihr auf Telegram? jetzt könnt ihr uns auch auf Telegram beitreten.

Der Beitrag Meet Kyutai REKI: Das 2.4B-VLA-Modell, das effizientes Gedächtnis in die Robotermanipulation bringt erschien zuerst auf MarkTechPost.