Kyutaiは、InriaおよびÉcole des Pontsとともに、次を公開しました: REKI、ロボットマニピュレーション向けの2.4B ビジョン・言語・アクションモデル (VLA)です。REKIビジョン・言語・アクションモデルは公開データのみで事前学習されています。また、直近の過去に関する低コストなメモリも備えています。3つの分布外ベンチマークでは、約2倍のサイズのモデルだけがこれを上回りました。すべての重みは本日 Hugging Faceで公開 されています。
TL;DR
- サイズ: 2.4Bパラメータ(2.2B Qwen3.5-2B VLM + 0.2B flow-matchingアクションエキスパート)。メモリは1秒間隔の直近3フレームを対象とします。
- 動作環境: 1基のNVIDIA H100でベンチマーク実施。256×256の2カメラ入力で、コンパイル時にアクションチャンクあたり21.8 ms。重みはBF16で提供。量子化バリアントの発表はありません。
- 性能: 公開データで事前学習されたVLAの中で、LIBERO-PlusとRoboTwin Clean2Randにおいて最高性能。
- 最高: LIBERO-Plusで90.4%、Kyutaiの比較におけるトップスコア。
- 最低: RoboCasa365で38.4%、Xiaomi-Robotics-1(57.4%)を大きく下回る。
REKIとは?
REKIは、カメラ映像と指示をロボットのアクションへマッピングするKyutaiのビジョン・言語・アクションモデルです。 Qwen3.5-2B バックボーンに、200Mパラメータのアクションエキスパートを組み合わせています。エキスパートはflow matchingによってアクションチャンクを生成し、10 Eulerステップで積分されます。ロボット状態とflow timeはadaptive RMSNormを通じて入力されます。ロボット状態のレイアウトごとに、専用の小さなstate MLPが割り当てられます。
REKIのメモリはどのように機能するのか?
ほとんどのVLAは現在のフレームのみで動作します。従来のメモリ手法は、過去のフレームをVLMに入力するか、学習をアンロールするか、モジュールを追加するものであり、いずれもコストが増大します。
REKIは代わりに、メモリをアクションエキスパートの内部に配置します。各フレームのアクショントークンの前に、32個の学習済み registerトークンが置かれます。これらはそのフレームのエンコードされたプロンプトと映像にcross-attendします。また、より前のフレームのregister同士でself-attendも行います。
Registerはアクショントークンを決して読み取りません。したがって、flow timeやロボット状態ではなく、観測のみに依存します。Registerはフレームごとに1回計算され、ローリングウィンドウにキャッシュされます。
コストは小さく、以下の通りです: プロジェクトページ:
- キャッシュされたレジスタの読み取りは、21.8 msのチャンクに0.1 msを追加する。
- キャッシュは過去のフレーム1つにつき約2 MiBのGPUメモリを使用する。
- トレーニングでは、3フレームのウィンドウを1回のバッチ処理にまとめている。
メモリは失敗モードも修正する。メモリがないと、アームは2つのポーズ間でしばしば振動する。RoboTwinでは、振動するエピソードの割合がメモリありで18.6%から4.1%に減少する。Kyutaiはこれを知覚的エイリアシングに起因するとしている。
REKIはベンチマークでどの程度の性能を発揮するのか？
REKIは一度事前学習され、その後ベンチマークごとに個別にファインチューニングされる。以下のスコアは、 モデルカード およびプロジェクトページによる。
- LIBERO-Plus： 90.4%で、Qwen-RobotManip（89.0%）とπ0.5（85.7%）を上回る。
- RoboTwin Clean2Rand： 65.8%で、Qwen-RobotManip（68.5%）にのみ及ばない。
- RoboCasa365： 38.4%で、RLDX-1（36.0%）とQwen-RobotManip（35.9%）を上回る。
- LIBERO（4スイート）： 97.6%.
- RoboTwin 2.0 Easy / Hard： 85.9% / 84.6%.
事前学習は分布外で最も効果を発揮する。Clean2Randで13.8ポイント、クラスタ環境下で30.3ポイント追加される。メモリはLIBERO-Plusで1.5ポイント、RoboCasa365で5.4ポイント追加される。
REKIは他のVLAとどう比較されるのか？
| 機能 | REKI (Kyutai) | Qwen-RobotManip（Qwen) | π0.5（Physical Intelligence) | ABot-M0（AMAP) |
|---|---|---|---|---|
| 合計サイズ | 2.4B | 4.7B（Kyutai による) | 3.3B（Kyutai による) | 4.6B（Kyutai による) |
| VLM バックボーン | Qwen3.5-2B | Qwen3.5-4B | Gemma ベース | 非公開 |
| 事前学習データ | 公開データのみ | オープンソース＋人間の映像 | 独自のロボットデータを含む | オープンソース（UniACT） |
| メモリ | 32 レジスタ、3 フレーム | In-context 版 | なし | なし |
| LIBERO-Plus | 90.4 | 89.0 | 85.7 (Kyutai 評価) | 80.5 |
| RoboTwin Clean2Rand（平均） | 65.8 | 68.5 | 63.8 | 55.7 |
| RoboCasa365 | 38.4 | 35.9 | 16.9 | 非公開 |
| H100 レイテンシ、コンパイル済み | 21.8 ms | 非公開 | 33.8 ms（openpi、Kyutai) | 46.1 ms(Kyutai) |
| 重み | Open、CC BY-NC-SA 4.0 | 未発表 | オープンソースの Apache-2.0 リポジトリ | オープン、Apache-2.0リポジトリ |
注: Clean2Rand平均は、以下の論文の表5に示された6条件から算出されている。 Qwen-RobotManip レポートQwenのレポートでは、LIBERO-Plusにおけるπ0.5のスコアが84.4であることが示されています。
REKIはどのようなデータで訓練されましたか？
この混合データセットは1.0Bフレームに加え12.2M件の視覚言語サンプルを含みます。実ロボットのテレオペレーションが639.8Mフレーム、シミュレーションが193.9Mフレーム、一人称視点の人間動画が170.9Mフレームを提供しています。ソースにはDROID、BridgeData V2、AgiBot World、EgoDex、EgoVerseが含まれます。事前学習は32基のH100 GPU上で200,000ステップ実行されました。Kyutaiはアクションを再マッピングするのではなく、各データセットのネイティブな制御規約をそのまま維持しています。
REKIはどのようにデプロイしますか?
6つのチェックポイントが列挙されています。事前学習済みベースに加え、LIBERO、RoboTwin（2バリアント）、RoboCasa365、RoboCasa-GR1向けのファインチューニング済みモデルです。実ロボットへの展開では LeRobot async-inference gRPCプロトコル。UR5アーム上で、REKIはタスクごとに50件のデモンストレーションを用いて3kステップ(1時間)のファインチューニングが行われました。
コードをコピーfrom reki import RekiPolicy
policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset() # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
state=proprio, task="put the bowl on the plate")重要なポイント
- REKIは、公開データのみで事前学習された2.4BのVLAです。
- LIBERO-Plusで90.4%のスコアを記録し、Kyutaiの比較で首位に立っています。
- キャッシュされた32個のレジスタトークンが、0.1 ms分の追加メモリを提供する。
- メモリ削減により、RoboTwin上の振動が18.6%から4.1%に低下します。
- 重みはオープンですが非商用ライセンス(CC BY-NC-SA 4.0)です。
下記もご覧ください 論文, プロジェクトページ, モデル重み および GitHub リポジトリ。本プロジェクトの研究者に全ての功績があります。また、ぜひ当サイトをフォローしてください: Twitter そして、私たちの 150k+ML SubReddit への参加と、 ニュースレターの購読もお忘れなく。ところで、Telegramは使っていますか？ 現在、Telegramでも参加できるようになりました。この記事
Meet Kyutai REKI: The 2.4B VLA Model Bringing Efficient Memory to Robot Manipulation Kyutai REKIをご紹介:ロボットマニピュレーションに効率的なメモリをもたらす2.4B VLAモデル MarkTechPost で公開されました。.