Kyutai 与 Inria 及 École des Ponts 合作发布了 REKI，一个 2.4B 视觉-语言-动作模型 （VLA），用于机器人操作。REKI 视觉-语言-动作模型仅在公开数据上预训练。它还带有对其近期的廉价记忆。在三个分布外基准测试中，只有大约两倍于其规模的模型才能胜过它。所有权重已 上线于 Hugging Face 。
TL;DR
- 规模： 2.4B 参数（2.2B Qwen3.5-2B VLM + 0.2B 流匹配动作专家）。记忆覆盖最近 3 帧，间隔 1 秒。
- 运行环境： 在 1 块 NVIDIA H100 上进行基准测试。在 2 个 256×256 相机输入下，编译后每个动作块耗时 21.8 ms。权重以 BF16 提供。未宣布量化版本。
- 性能： 在 LIBERO-Plus 和 RoboTwin Clean2Rand 上，在仅用公开数据预训练的 VLA 中表现最佳。
- 最佳： LIBERO-Plus 上达到 90.4%，为 Kyutai 对比中的最高分。
- 最差： RoboCasa365 上为 38.4%，远落后于 Xiaomi-Robotics-1（57.4%）。
什么是 REKI？
REKI 是 Kyutai 推出的一个视觉-语言-动作模型，将相机画面和指令映射为机器人动作。它将 Qwen3.5-2B 骨干与一个 200M 参数的动作专家配对。该专家通过流匹配生成动作块，在 10 个 Euler 步中积分。机器人状态和流时间通过 adaptive RMSNorm 输入。每种机器人状态布局都有其自己的小型状态 MLP。
REKI 的记忆是如何工作的？
大多数 VLA 仅根据当前帧进行动作。以往的记忆方法会将过去帧输入 VLM、展开训练或添加模块。每种选择都会增加成本。
REKI 则将记忆放在动作专家内部。在每帧的动作令牌之前有 32 个可学习的 寄存器令牌。它们对该帧的编码提示和视图进行交叉注意力计算。它们还对较早帧的寄存器进行自注意力计算。
寄存器从不读取动作令牌。因此它们仅依赖于观测，而不依赖于流时间或机器人状态。它们每帧计算一次，并缓存在滚动窗口中。
据该 项目页面:
- 读取缓存的寄存器会给 21.8 毫秒的处理块增加 0.1 毫秒。
- 缓存在每个过去帧上使用约 2 MiB 的 GPU 显存。
- 训练将 3 帧窗口打包进 1 次批处理推理中。
记忆还修复了一种失败模式。没有它时,机械臂常在 2 个姿态之间震荡。在 RoboTwin 上,震荡回合的比例从 18.6% 降至使用记忆后的 4.1%。Kyutai 将此归因于感知混叠。
REKI 在基准测试中的表现如何?
REKI 先进行一次预训练,然后针对每个基准分别微调。以下分数来自 模型卡 和项目页面。
- LIBERO-Plus: 90.4%,领先于 Qwen-RobotManip(89.0%)和 π0.5(85.7%)。
- RoboTwin Clean2Rand: 65.8%,仅落后于 Qwen-RobotManip(68.5%)。
- RoboCasa365: 38.4%,领先于 RLDX-1(36.0%)和 Qwen-RobotManip(35.9%)。
- LIBERO(4 个套件): 97.6%.
- RoboTwin 2.0 Easy / Hard: 85.9% / 84.6%.
预训练在分布外帮助最大。它在 Clean2Rand 上增加 13.8 分,在杂乱场景下增加 30.3 分。记忆在 LIBERO-Plus 上增加 1.5 分,在 RoboCasa365 上增加 5.4 分。
REKI 与其他 VLA 相比如何?
| 特性 | REKI (Kyutai) | Qwen-RobotManip（Qwen) | π0.5（Physical Intelligence) | ABot-M0（AMAP) |
|---|---|---|---|---|
| 总规模 | 2.4B | 4.7B（据 Kyutai) | 3.3B（据 Kyutai) | 4.6B（据 Kyutai) |
| VLM 骨干 | Qwen3.5-2B | Qwen3.5-4B | 基于 Gemma | 未公开 |
| 预训练数据 | 仅公开数据 | 开源数据 + 人类视频 | 包含自有机器人数据 | 开源（UniACT） |
| 记忆 | 32 个寄存器，3 帧 | 上下文内变体 | 无 | 无 |
| LIBERO-Plus | 90.4 | 89.0 | 85.7 (Kyutai 评测) | 80.5 |
| RoboTwin Clean2Rand（均值） | 65.8 | 68.5 | 63.8 | 55.7 |
| RoboCasa365 | 38.4 | 35.9 | 16.9 | 未披露 |
| H100 延迟（编译后） | 21.8 毫秒 | 未披露 | 33.8 毫秒（openpi、Kyutai) | 46.1 ms（Kyutai) |
| 权重 | 开放，CC BY-NC-SA 4.0 | 未发布 | 开放，Apache-2.0 仓库 | 开放，Apache-2.0 仓库 |
注： Clean2Rand 均值是根据 的表 5 中的 6 个条件计算得出的。 Qwen-RobotManip 报告中表 5 的 6 个条件计算得出的。Qwen 报告列出 π0.5 在 LIBERO-Plus 上为 84.4。
REKI 是用什么数据训练的？
该混合数据集包含 1.0B 帧以及 12.2M 个视觉-语言样本。真机遥操作提供 639.8M 帧，仿真提供 193.9M 帧，第一人称人类视频提供 170.9M 帧。数据来源包括 DROID、BridgeData V2、AgiBot World、EgoDex 和 EgoVerse。预训练在 32 块 H100 GPU 上运行了 200,000 步。Kyutai 保留每个数据集的原生控制约定，而不是重新映射动作。
如何部署 REKI？
列出了 6 个检查点：预训练基础模型以及针对 LIBERO、RoboTwin（2 个变体）、RoboCasa365 和 RoboCasa-GR1 的微调版本。真机部署使用 LeRobot async-inference gRPC 协议。在 UR5 机械臂上，REKI 针对每个任务的 50 条演示进行了 3k 步（1 小时）的微调。
复制代码from reki import RekiPolicy
policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset() # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
state=proprio, task="put the bowl on the plate")要点总结
- REKI 是一个仅使用公开数据预训练的 2.4B VLA。
- 它在 LIBERO-Plus 上得分为 90.4%，在 Kyutai 的对比中位居首位。
- 32 个缓存的寄存器 token 以 0.1 ms 的额外开销提供记忆能力。
- 在 RoboTwin 上，记忆机制将姿态振荡从 18.6% 降低到 4.1%。
- 权重开放但仅限非商业用途（CC BY-NC-SA 4.0）。
请查看 论文, 项目主页, 以及 GitHub 仓库 。所有功劳归于该项目的研究者。也欢迎在。本项目的一切功劳归于该项目的研究者。另外，欢迎在 关注我们。 上关注我们。 也别忘了加入我们的 150k+ML SubReddit 并订阅 我们的时事通讯。等等！你在用Telegram吗？ 现在你也可以在Telegram上加入我们了。
本文《 认识 Kyutai REKI：为机器人操作带来高效记忆的 2.4B VLA 模型 首发于 MarkTechPost.