Kyutaiが公開したのは CADREで、インタラクティブなワールドモデル向けのオープンな因果拡散表現オートエンコーダです。KyutaiのCADRE映像オートエンコーダが狙うのは1つの問題、すなわちアクションラグです。多くのワールドモデルはテキストから映像を生成するモデルからオートエンコーダを借用しています。それらのオートエンコーダは多数のフレームを1つの潜在表現にまとめるため、すべてのアクションが待たされます。研究 論文によれば、CADREのワールドモデルは1基のH100で20 fpsで動作し、230 ms以内に反応します。
要約
- サイズ: 7つのオートエンコーダ。それぞれ約476Mの学習パラメータに加えて凍結された 86M DINOv3 ViT-B/16を備えます。ワールドモデルは1.2Bパラメータです。映像は288×512、20 fpsで動作します。
- 実行環境: 1基のH100(bf16、バッチ1)。量子化版: 非公開。
- 性能: CADREはレイテンシと品質のフロンティアの大部分を形成します。MIRA、Wan 2.2、Cosmos、LTX-2との48件の比較のうち42件で、同等以上に速くかつ優れています。
- 最良: 運転FVD 162.6(CADRE-2×16×16、1ステップ)に対し、Wan 2.2は599.7。
- 最悪: ロボット操作のアクション追従(ARR)でCADRE-2×32×32は0.45に対し、Wan 2.2は0.85。
CADREとは?
CADREは、アクション条件付きワールドモデル向けにKyutaiが構築した映像オートエンコーダのファミリーです。ワールドモデルはオートエンコーダの潜在空間内で生成を行います。したがって、オートエンコーダの圧縮率がフレームあたりのコストとアクションの遅延の両方を決定します。
圧縮率はτ×s×sと表記されます。τは潜在表現あたりのフレーム数、sは空間方向の係数です。研究ではレイテンシをτ/fに生成時間とデコード時間を加えたものとしています。τ = 8、20 fpsのとき、チャンクだけで400 msが加わります。人間は約230 msを超える自分の動きの遅延に気づきます。
CADREはどのように動作するのか?
エンコーダは MIRA のレシピを再利用します。凍結されたDINOv3が各フレームからパッチごとの特徴を抽出します。その後、学習された1つの3D畳み込みがそれを64チャネルの潜在表現に圧縮します。7つのメンバー間で変化するのは、このボトルネック部分のみです。
デコーダは24ブロックからなる因果拡散トランスフォーマーです。チャンクごとにストリーミングします。漸進的自己蒸留により、1ステップまたは2ステップでのデコードを学習します。これは敵対的損失を用いず、単一の訓練ステージで行われます。
オートエンコーダは、約76k時間に及ぶ23の公開映像ソースで訓練されます。そのミックスはウェブ、ロボット、運転、ゲームの映像を網羅します。
CADREはどのように評価されたのか?
Kyutaiは同じ1.2Bの因果拡散トランスフォーマーを各オートエンコーダ上で訓練しました。使用した環境は4つで、ロボット操作(ABC)、人間の操作(EgoDex)、運転(PhysicalAI AV)、屋内ナビゲーション(RealEstate10K)です。各モデルは2秒の実映像を入力した後、4.8秒を生成します。
画像の品質（FID）、モーションの品質（FVD）、アクションの追従性（ARR）をスコア化します。ARR には凍結された逆ダイナミクスプローブを使用します。ARR が 1 であれば実動画と同等です。
ベンチマークが示すものは？
H100 1 基で、CADRE-2×32×32 は 185 ms で反応し、デコード 1 ステップで 23.4 fps を維持します。Wan 2.2 オートエンコーダは 317 ms、LTX-2 は 492 ms、Cosmos は 605 ms かかります。DC-AE は 118 ms と速いものの、フレーム単位での処理です。
差が最も広がるのはカメラが動く場合です。運転では、Wan 2.2 の FVD は 599.7、LTX-2 は 913.3 に達します。屋内ナビゲーションでは、LTX-2 の ARR は 0.04 まで落ちます。再学習した MIRA デコーダと比較すると、1 ステップ拡散デコーダは FVD を 1.4〜2.5 倍低減します。
4 つの知見とは？
- 拡散によるデコード： 強い圧縮下では、知覚的回帰はぼやけますが、拡散はシャープな動画を 1 本サンプリングします。
- オートエンコーダ内で時間を圧縮： ワールドモデル内でのパッチ化はディテールを失います。8 フレームでは、ARR が 0.72 から 0.56 に低下します。
- カメラの動きが圧縮を決める： 固定カメラは時間的圧縮に耐えます。動くカメラは、より少ないフレーム数と粗い空間トークンが有利です。
- 粗いトークンはまずモーションを損なう： ロボット操作では、32× の空間圧縮は 16× と比べて FVD を 2.4 倍にします。FID はほとんど変わりません。
比較：CADRE と他の動画オートエンコーダ
| 特徴 | CADRE-2×32×32 | CADRE-2×16×16 | MIRA レシピ | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| 圧縮率 (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (論文) |
| 16 フレームあたりのトークン数 | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| デコーダ | 因果拡散、1〜2 ステップ | 因果拡散、1〜2 ステップ | 知覚的回帰 | 因果 | 因果 | 非因果、ウィンドウ処理 |
| アクション遅延、H100 1 基 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| 最大 fps、H100 1 基 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD、driving(低いほど良い) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD、ロボット操作 | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR、ロボット操作(高いほど良い) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| 再構成 PSNR (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| 重みのライセンス | CC BY-NC 4.0 + DINOv3 ライセンス | CC BY-NC 4.0 + DINOv3 ライセンス | 非公開 | Apache 2.0 | NVIDIA Open Model ライセンス | LTX-2 コミュニティライセンス |
Latency、fpsA、FVD、ARR、PSNR:CADRE 論文, 表4、6および7。CADREは1つのデコーディングステップを使用します。すべての数値はKyutaiによる自己申告です。
CADREの不足点はどこか?
CADREはすべての場所で勝つわけではない。ロボット操作では、CosmosがFVD 39.5を記録し、最良の1ステップCADREの47.6を上回る。高速側では、DC-AEが操作タスクにおいてCADRE-1×48×48を上回る。Wan 2.2もまた、35.02 dB PSNRで未知の動画をはるかに良く再構築する。
Kyutaiチームは、再構成がロールアウトを予測するものではないと主張しています。Wan 2.2は屋内ロールアウトFVDで最下位にランクされています。
長いlatentはチャンク間に目に見える継ぎ目を残す。τ = 8では、境界過剰がすべての環境で1.6から1.8に達する。CADRE-4×24×24はナビゲーションにおける外れ値であり、運転ではFVD 403を記録する。各world modelは1つの環境を288×512でカバーする。これらの知見が汎用モデルに移行するかどうかは依然として未解決である。
開発者はどのようにCADREを利用できますか?
その コード はMITライセンスで提供されています。重みは Hugging Face はCC BY-NC 4.0であり、商用利用は除外されています。このリリースには、7つのオートエンコーダ、より長く訓練された4つのマルチ解像度バージョン、およびCADRE-2×16×16上の4つのワールドモデルが含まれます。A ライブデモ キーボードで操作できるようになります。
要点
- オートエンコーダー7つ、ボトルネック1つだけ異なり、圧縮を唯一の変数として切り分けている。
- CADRE上のワールドモデルは、H100 1基で20 fpsで動作し、レイテンシは230 ms未満です。
- FVD運転時の値は162.6にまで低下し、Wan 2.2の599.7に対して大きな改善を示している。
- 静止カメラは時間方向の圧縮に有利であり、動くカメラは空間方向の圧縮に有利である。
- 重みは非商用ライセンス（CC BY-NC 4.0）、コードはMITライセンスです。
以下をご覧ください: 論文, その Kyutai ブログ、 GitHubリポジトリ および モデルコレクション。このプロジェクトの研究者に全ての功績があります。また、ぜひ私たちをフォローしてください Twitter 「そして、私たちの」 150k+のML SubReddit および Subscribe to 当社のニュースレター. 待ってください!あなたはTelegramを利用していますか? Telegramでもご参加いただけるようになりました。
您的 GitHub Repo、Hugging Face Page、Product Release、Webinar 等のプロモーションについて、私たちとのパートナーシップをご希望ですか? 私たちとつながりましょう
当該投稿 Kyutai CADRE:世界モデルの遅延を230 ms未満に削減する動画オートエンコーダ 最初に掲載されたのは MarkTechPost.