Kyutai已发布 CADRE，这是一系列面向交互式世界模型的开放因果扩散表示自编码器。Kyutai CADRE视频自编码器针对一个问题：动作延迟。许多世界模型借用了文本到视频生成器的自编码器。这些自编码器将多帧打包进一个潜变量中，因此每个动作都要等待。根据该研究 论文，CADRE世界模型在1块H100上以20 fps运行，并在230毫秒内做出反应。
TL;DR
- 规模： 7个自编码器，每个约有476M个训练参数，外加一个冻结的 86M DINOv3 ViT-B/16。世界模型为1.2B参数。视频以288×512、20 fps运行。
- 运行环境： 1块H100（bf16，batch 1）。量化变体：未披露。
- 性能： CADRE占据了延迟-质量前沿的大部分。在与MIRA、Wan 2.2、Cosmos和LTX-2的48项对比中，有42项速度相当且表现更好。
- 最佳： 驾驶FVD为162.6（CADRE-2×16×16，1步），而Wan 2.2为599.7。
- 最差： 机器人操作动作跟随（ARR）中CADRE-2×32×32为0.45，而Wan 2.2为0.85。
什么是CADRE？
CADRE是Kyutai推出的一系列视频自编码器，专为动作条件世界模型而构建。世界模型在自编码器的潜空间中进行生成。因此，自编码器的压缩方式同时决定了每帧成本和动作延迟。
压缩方式记为τ×s×s。τ是每个潜变量对应的帧数，s是空间因子。该研究将延迟给出为τ/f加上生成和解码时间。在τ = 8和20 fps时，仅分块本身就会增加400毫秒。人类在大约超过230毫秒时会察觉到自己动作的滞后。
CADRE如何工作？
编码器复用了 MIRA 的方案。一个冻结的DINOv3从每帧提取每个patch的特征。然后一个经过训练的3D卷积将其压缩为64通道潜变量。7个成员之间只有这个瓶颈部分不同。
解码器是一个具有24个块的因果扩散transformer。它逐块流式运行。渐进式自蒸馏使其学会在1步或2步内完成解码。这在单个训练阶段完成，无需对抗损失。
这些自编码器在23个公开视频来源上训练，约76k小时。该数据组合涵盖网络、机器人、驾驶和游戏视频。
CADRE是如何评估的？
Kyutai在每个自编码器上训练了同一个1.2B因果扩散transformer。它使用了4个环境：机器人操作（ABC）、人类操作（EgoDex）、驾驶（PhysicalAI AV）和室内导航（RealEstate10K）。每个模型先观看2秒真实视频，然后生成4.8秒。
评分涵盖图像质量（FID）、运动质量（FVD）和动作遵循度（ARR）。ARR 使用冻结的逆动力学探针。ARR 为 1 即与真实视频相当。
基准测试显示了什么？
在一块 H100 上，CADRE-2×32×32 在 185 ms 内做出反应，并仅用 1 个解码步骤维持 23.4 fps。Wan 2.2 自编码器需要 317 ms，LTX-2 需要 492 ms，Cosmos 需要 605 ms。DC-AE 更快，为 118 ms，但需要逐帧处理。
在移动相机情况下差距最大。在驾驶场景中，Wan 2.2 的 FVD 达到 599.7，LTX-2 达到 913.3。在室内导航中，LTX-2 的 ARR 降至 0.04。与重新训练的 MIRA 解码器相比，1 步扩散解码器将 FVD 降低了 1.4 至 2.5 倍。
4 项发现是什么？
- 用扩散解码： 在强压缩下，感知回归会模糊，而扩散能采样出 1 段清晰的视频。
- 在自编码器中压缩时间： 在世界模型内部进行分块会丢失细节。在 8 帧时，ARR 从 0.72 降至 0.56。
- 相机运动决定压缩方式： 静态相机可以容忍时间压缩。移动相机则更适合更少的帧和更粗的空间 token。
- 粗 token 首先损害运动： 在机器人操作中，32× 空间压缩使 FVD 相比 16× 增加了 2.4 倍。FID 几乎不变。
对比：CADRE 与其他视频自编码器
| 特性 | CADRE-2×32×32 | CADRE-2×16×16 | MIRA 配方 | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| 压缩率 (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (论文) |
| 每 16 帧的 token 数 | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| 解码器 | 因果扩散，1 至 2 步 | 因果扩散，1 至 2 步 | 感知回归 | 因果 | 因果 | 非因果，窗口化 |
| 动作延迟，1 块 H100 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| 最大帧率，1 块 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD，驾驶（越低越好） | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD，机器人操作 | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR，机器人操作（越高越好） | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| 重建 PSNR (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| 权重许可 | CC BY-NC 4.0 + DINOv3 许可证 | CC BY-NC 4.0 + DINOv3 许可证 | 未披露 | Apache 2.0 | NVIDIA Open Model License | LTX-2 社区许可证 |
延迟、fpsA、FVD、ARR 和 PSNR:CADRE 论文、表4、6和7。CADRE使用1个解码步骤。所有数据均由Kyutai自行报告。
CADRE 在哪些方面存在不足？
CADRE 并非在所有场景中都获胜。在机器人操作任务中，Cosmos 取得了 39.5 的 FVD，而最好的 1-step CADRE 为 47.6。在快的一端，DC-AE 在操作任务中击败了 CADRE-1×48×48。Wan 2.2 对留出视频的重建也远好得多，达到 35.02 dB PSNR。
Kyutai 团队认为重建并不能预测 rollout。Wan 2.2 在室内 rollout FVD 上排名最后。
过长的潜变量会在分块之间留下可见的接缝。在 τ = 8 时，各环境中的边界超额达到 1.6 到 1.8。CADRE-4×24×24 在导航中是一个异常值，在驾驶中 FVD 为 403。每个世界模型以 288×512 覆盖一个环境。这些发现是否能推广到通用模型仍悬而未决。
开发者如何使用CADRE？
该 代码 采用MIT许可证。权重在 Hugging Face 采用 CC BY-NC 4.0 协议，因此排除商业用途。此次发布涵盖 7 个自编码器、4 个经过更长时间训练的多分辨率版本，以及 4 个在 CADRE-2×16×16 上的世界模型。A 现场演示 让你可以通过键盘来操控它们。
要点总结
- 7个开放自编码器，仅相隔一个瓶颈层，将压缩作为唯一变量进行隔离。
- 世界模型在 CADRE 上以 20 fps 的速度运行于 1 块 H100 上，延迟低于 230 ms。
- Driving FVD降至162.6，而Wan 2.2为599.7。
- 静止相机偏向时间压缩；移动相机偏向空间压缩。
- 权重采用非商业许可（CC BY-NC 4.0）；代码采用 MIT 许可。
查看 论文, 该 Kyutai 博客、 GitHub 仓库 以及 模型合集。所有功劳归于该项目的研究人员。另外，欢迎在 Twitter 上关注我们 别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等！你在用 Telegram 吗？ 现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo、Hugging Face Page、产品发布、网络研讨会等吗？ 与我们联系