Kyutai ha lanzado CADRE, autoencoders de representación de difusión causal abiertos para modelos de mundo interactivos. El autoencoder de video Kyutai CADRE apunta a un problema: el retraso de acción. Muchos modelos de mundo toman prestados autoencoders de generadores de texto a video. Esos autoencoders comprimen muchos fotogramas en un solo latente, por lo que cada acción debe esperar. Según el artículo de investigación, los modelos de mundo CADRE funcionan a 20 fps en 1 H100 y reaccionan en un máximo de 230 ms.
TL;DR
- Tamaño: 7 autoencoders, cada uno con unos 476M de parámetros entrenados más un DINOv3 ViT-B/16 de 86M congelado. El modelo de mundo tiene 1.2B de parámetros. El video funciona a 288×512, 20 fps.
- Se ejecuta en: 1 H100 (bf16, batch 1). Variantes cuantizadas: No reveladas.
- Rendimiento: CADRE ocupa la mayor parte de la frontera latencia-calidad. Es tan rápido y mejor en 42 de 48 comparaciones con MIRA, Wan 2.2, Cosmos y LTX-2.
- Mejor: FVD de conducción de 162.6 (CADRE-2×16×16, 1 paso) frente a 599.7 para Wan 2.2.
- Peor: Seguimiento de acción en manipulación robótica (ARR) de 0.45 para CADRE-2×32×32, frente a 0.85 para Wan 2.2.
¿Qué es CADRE?
CADRE es una familia de autoencoders de video de Kyutai construida para modelos de mundo condicionados por acción. Un modelo de mundo genera en el espacio latente del autoencoder. Por lo tanto, la compresión del autoencoder determina tanto el costo por fotograma como el retraso de acción.
La compresión se escribe τ×s×s. τ es el número de fotogramas por latente, y s es el factor espacial. La investigación da la latencia como τ/f más el tiempo de generación y decodificación. Con τ = 8 y 20 fps, solo el chunk añade 400 ms. Los humanos notan que su propio movimiento se retrasa más allá de unos 230 ms.
¿Cómo funciona CADRE?
El codificador reutiliza la receta de MIRA . Un DINOv3 congelado extrae características por parche de cada fotograma. Una única convolución 3D entrenada las comprime en un latente de 64 canales. Solo este cuello de botella cambia entre los 7 miembros.
El decodificador es un transformer de difusión causal con 24 bloques. Transmite chunk por chunk. La autodestilación progresiva le enseña a decodificar en 1 o 2 pasos. Esto ocurre en una única etapa de entrenamiento, sin una pérdida adversarial.
Los autoencoders se entrenan con 23 fuentes de video públicas, unas 76k horas. La mezcla abarca video web, robótico, de conducción y de videojuegos.
¿Cómo se evaluó CADRE?
Kyutai entrenó el mismo transformer de difusión causal de 1.2B en cada autoencoder. Usó 4 entornos: manipulación robótica (ABC), manipulación humana (EgoDex), conducción (PhysicalAI AV) y navegación en interiores (RealEstate10K). Cada modelo ve 2 s de video real y luego genera 4.8 s.
Evalúa la calidad de la imagen de las tramas (FID), la calidad del movimiento (FVD) y el seguimiento de la acción (ARR). ARR utiliza una sonda de dinámica inversa congelada. Un ARR de 1 equivale a video real.
¿Qué muestran los benchmarks?
En una H100, CADRE-2×32×32 reacciona en 185 ms y sostiene 23.4 fps con 1 paso de decodificación. El autoencoder Wan 2.2 necesita 317 ms, LTX-2 492 ms y Cosmos 605 ms. DC-AE es más rápido con 118 ms, pero frame a frame.
La brecha es más amplia con una cámara en movimiento. En conducción, el FVD de Wan 2.2 alcanza 599.7 y el de LTX-2 913.3. En navegación en interiores, el ARR de LTX-2 cae a 0.04. Frente al decodificador MIRA reentrenado, el decodificador de difusión de 1 paso reduce el FVD entre 1.4 y 2.5×.
¿Cuáles son las 4 conclusiones?
- Decodificar por difusión: con compresión fuerte, la regresión perceptual difumina, mientras que la difusión muestrea 1 video nítido.
- Comprimir el tiempo en el autoencoder: el parcheo dentro del modelo de mundo pierde detalle. Con 8 fotogramas, el ARR cae de 0.72 a 0.56.
- El movimiento de la cámara decide la compresión: las cámaras estáticas toleran la compresión temporal. Las cámaras en movimiento favorecen menos fotogramas y tokens espaciales más gruesos.
- Los tokens gruesos dañan primero el movimiento: en manipulación robótica, la compresión espacial de 32× multiplica el FVD por 2.4 respecto a 16×. El FID apenas se mueve.
Comparación: CADRE frente a otros autoencoders de video
| Característica | CADRE-2×32×32 | CADRE-2×16×16 | Receta MIRA | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| Compresión (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (artículo) |
| Tokens por 16 fotogramas | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| Decodificador | Difusión causal, 1 a 2 pasos | Difusión causal, 1 a 2 pasos | Regresión perceptual | Causal | Causal | No causal, por ventanas |
| Latencia de acción, 1 H100 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| Fps máximos, 1 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD, conducción (menor es mejor) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD, manipulación robótica | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR, manipulación robótica (mayor es mejor) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| PSNR de reconstrucción (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| Licencia de los pesos | CC BY-NC 4.0 + DINOv3 License | CC BY-NC 4.0 + DINOv3 License | No divulgada | Apache 2.0 | NVIDIA Open Model License | LTX-2 Community License |
Latencia, fpsA, FVD, ARR y PSNR: CADRE paper, Tablas 4, 6 y 7. CADRE utiliza 1 paso de decodificación. Todas las cifras son autoinformadas por Kyutai.
¿Dónde se queda corto CADRE?
CADRE no gana en todas partes. En manipulación robótica, Cosmos registra un FVD de 39.5 frente a 47.6 para el mejor CADRE de 1 paso. En el extremo rápido, DC-AE supera a CADRE-1×48×48 en manipulación. Wan 2.2 también reconstruye video no visto mucho mejor, con 35.02 dB PSNR.
El equipo de Kyutai argumenta que la reconstrucción no predice los rollouts. Wan 2.2 ocupa el último lugar en FVD de rollouts en interiores.
Los latentes largos dejan costuras visibles entre fragmentos. Con τ = 8, el exceso en los límites alcanza 1.6 a 1.8 en todos los entornos. CADRE-4×24×24 es un valor atípico en navegación, con FVD 403 en conducción. Cada modelo del mundo cubre un entorno a 288×512. Si los hallazgos se transfieren a modelos generalistas sigue siendo una pregunta abierta.
¿Cómo pueden los desarrolladores usar CADRE?
El código tiene licencia MIT. Los pesos en Hugging Face son CC BY-NC 4.0, por lo que el uso comercial queda excluido. La publicación cubre 7 autoencoders, 4 versiones multi-resolución con entrenamiento más largo y 4 modelos del mundo sobre CADRE-2×16×16. Una demo en vivo permite controlarlos con el teclado.
Conclusiones clave
- 7 autoencoders abiertos, separados por un cuello de botella, aíslan la compresión como la única variable.
- Los modelos del mundo sobre CADRE funcionan a 20 fps en 1 H100, con menos de 230 ms de latencia.
- El FVD en conducción baja a 162.6, frente a 599.7 para Wan 2.2.
- Las cámaras fijas favorecen la compresión temporal; las cámaras en movimiento favorecen la compresión espacial.
- Los pesos son no comerciales (CC BY-NC 4.0); el código es MIT.
Echa un vistazo al paper, al blog de Kyutai, al repositorio de GitHub y a la colección de modelos. Todo el mérito es del investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y suscribirte a nuestro boletín. ¡Espera! ¿estás en Telegram? ahora también puedes unirte a nosotros en Telegram.
¿Necesitas asociarte con nosotros para promocionar tu Repositorio de GitHub O Página de Hugging Face O Lanzamiento de Producto O Webinar, etc.? Conéctate con nosotros
La entrada Kyutai CADRE: Autoencoders de video que reducen el retraso de los modelos del mundo a menos de 230 ms apareció primero en MarkTechPost.