Kyutai a dévoilé CADRE, des autoencodeurs de représentation en diffusion causale ouverts pour les modèles du monde interactifs. L’autoencodeur vidéo Kyutai CADRE cible un problème précis : le délai d’action. De nombreux modèles du monde empruntent leurs autoencodeurs aux générateurs de texte en vidéo. Ces autoencodeurs regroupent beaucoup d’images en un seul latent, de sorte que chaque action doit attendre. Selon l’article de recherche, les modèles du monde CADRE fonctionnent à 20 fps sur 1 H100 et réagissent en moins de 230 ms.
TL;DR
- Taille : 7 autoencodeurs, chacun avec environ 476M de paramètres entraînés plus un DINOv3 ViT-B/16 figé de 86M. Le modèle mondial compte 1.2B de paramètres. La vidéo tourne en 288×512, à 20 fps.
- Fonctionne sur : 1 H100 (bf16, batch 1). Variantes quantifiées : non communiqué.
- Performance : CADRE occupe la majeure partie de la frontière latence-qualité. Il est aussi rapide et meilleur dans 42 des 48 comparaisons avec MIRA, Wan 2.2, Cosmos et LTX-2.
- Meilleur : un FVD de conduite de 162,6 (CADRE-2×16×16, 1 étape) contre 599,7 pour Wan 2.2.
- Pire : suivi d’action en manipulation robotique (ARR) de 0,45 pour CADRE-2×32×32, contre 0,85 pour Wan 2.2.
Qu’est-ce que CADRE ?
CADRE est une famille d’autoencodeurs vidéo de Kyutai conçue pour les modèles du monde conditionnés par l’action. Un modèle du monde génère dans l’espace latent de l’autoencodeur. Ainsi, la compression de l’autoencodeur détermine à la fois le coût par image et le délai d’action.
La compression s’écrit τ×s×s. τ est le nombre d’images par latent, et s est le facteur spatial. La recherche donne la latence comme τ/f plus les temps de génération et de décodage. À τ = 8 et 20 fps, le chunk à lui seul ajoute 400 ms. Les humains remarquent que leurs propres mouvements sont en retard au-delà d’environ 230 ms.
Comment fonctionne CADRE ?
L’encodeur réutilise la recette MIRA . Un DINOv3 figé extrait des caractéristiques par patch de chaque image. Une seule convolution 3D entraînée les compresse ensuite en un latent à 64 canaux. Seul ce goulot d’étranglement change entre les 7 membres.
Le décodeur est un transformateur de diffusion causal à 24 blocs. Il traite en flux, chunk par chunk. L’auto-distillation progressive lui apprend à décoder en 1 ou 2 étapes. Cela se produit en une seule étape d’entraînement, sans perte adversariale.
Les autoencodeurs sont entraînés sur 23 sources vidéo publiques, soit environ 76k heures. Le mélange couvre des vidéos web, robotiques, de conduite et de jeux.
Comment CADRE a-t-il été évalué ?
Kyutai a entraîné le même transformateur de diffusion causal de 1.2B sur chaque autoencodeur. Il a utilisé 4 environnements : manipulation de robots (ABC), manipulation humaine (EgoDex), conduite (PhysicalAI AV) et navigation en intérieur (RealEstate10K). Chaque modèle voit 2 s de vidéo réelle, puis génère 4.8 s.
Évalue la qualité des images (FID), la qualité du mouvement (FVD) et le suivi des actions (ARR). L'ARR utilise une sonde de dynamique inverse figée. Un ARR de 1 correspond à une vidéo réelle.
Que montrent les benchmarks ?
Sur un H100, CADRE-2×32×32 réagit en 185 ms et maintient 23.4 fps avec 1 étape de décodage. L'autoencodeur Wan 2.2 nécessite 317 ms, LTX-2 492 ms et Cosmos 605 ms. DC-AE est plus rapide à 118 ms mais image par image.
L'écart est le plus grand avec une caméra en mouvement. En conduite, le FVD de Wan 2.2 atteint 599.7 et celui de LTX-2 913.3. En navigation intérieure, l'ARR de LTX-2 chute à 0.04. Face au décodeur MIRA réentraîné, le décodeur par diffusion en 1 étape réduit le FVD de 1.4 à 2.5×.
Quelles sont les 4 conclusions ?
- Décoder par diffusion : à forte compression, la régression perceptuelle produit du flou, tandis que la diffusion échantillonne 1 vidéo nette.
- Compresser le temps dans l'autoencodeur : le découpage en patchs à l'intérieur du modèle du monde perd du détail. À 8 images, l'ARR chute de 0.72 à 0.56.
- Le mouvement de la caméra détermine la compression : les caméras fixes tolèrent la compression temporelle. Les caméras en mouvement privilégient moins d'images et des tokens spatiaux plus grossiers.
- Les tokens grossiers nuisent d'abord au mouvement : en manipulation robotique, une compression spatiale de 32× multiplie le FVD par 2.4 par rapport à 16×. Le FID bouge à peine.
Comparaison : CADRE vs autres autoencodeurs vidéo
| Caractéristique | CADRE-2×32×32 | CADRE-2×16×16 | Recette MIRA | VAE Wan 2.2 | Cosmos CV8x8x8 | VAE LTX-2 |
|---|---|---|---|---|---|---|
| Compression (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (article) |
| Tokens pour 16 frames | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| Décodeur | Diffusion causale, 1 à 2 étapes | Diffusion causale, 1 à 2 étapes | Régression perceptuelle | Causal | Causal | Non causal, fenêtré |
| Latence d'action, 1 H100 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| Fps max, 1 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD, conduite (plus bas est mieux) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD, manipulation robotique | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR, manipulation robotique (plus haut est mieux) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| PSNR de reconstruction (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| Licence des poids | CC BY-NC 4.0 + DINOv3 License | CC BY-NC 4.0 + DINOv3 License | Non divulguée | Apache 2.0 | NVIDIA Open Model License | Licence communautaire LTX-2 |
Latence, fpsA, FVD, ARR et PSNR : CADRE l'article, Tables 4, 6 et 7. CADRE utilise 1 étape de décodage. Toutes les chiffres sont auto-rapportés par Kyutai.
Où CADRE est-il en défaut ?
CADRE ne gagne pas partout. En manipulation robotique, Cosmos affiche un FVD de 39.5 contre 47.6 pour le meilleur CADRE en 1 étape. À l'extrémité rapide, DC-AE bat CADRE-1×48×48 en manipulation. Wan 2.2 reconstruit aussi bien mieux les vidéos de test, avec 35.02 dB de PSNR.
L'équipe Kyutai soutient que la reconstruction ne prédit pas les rollouts. Wan 2.2 se classe dernier sur le FVD de rollout en intérieur.
Les latents longs laissent des coutures visibles entre les chunks. À τ = 8, l'excès aux frontières atteint 1.6 à 1.8 selon les environnements. CADRE-4×24×24 est une valeur aberrante en navigation, avec un FVD de 403 en conduite. Chaque modèle du monde couvre un seul environnement en 288×512. Le transfert de ces résultats aux modèles généralistes reste une question ouverte.
Comment les développeurs peuvent-ils utiliser CADRE ?
Le code est sous licence MIT. Les poids sur Hugging Face sont en CC BY-NC 4.0, donc l'usage commercial est exclu. La publication couvre 7 autoencodeurs, 4 versions multi-résolution entraînées plus longtemps et 4 modèles du monde sur CADRE-2×16×16. Une démo en direct permet de les piloter au clavier.
Points clés
- 7 autoencodeurs ouverts, séparés d'un seul goulot d'étranglement, isolent la compression comme seule variable.
- Les modèles du monde sur CADRE tournent à 20 fps sur 1 H100, avec moins de 230 ms de latence.
- Le FVD en conduite chute à 162.6, contre 599.7 pour Wan 2.2.
- Les caméras fixes favorisent la compression temporelle ; les caméras en mouvement favorisent la compression spatiale.
- Les poids sont non commerciaux (CC BY-NC 4.0) ; le code est en MIT.
Découvrez l'article, le blog Kyutai, le dépôt GitHub et la collection de modèles. Tout le mérite revient au chercheur de ce projet. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez maintenant nous rejoindre sur telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinaire etc. ? Connectez-vous avec nous
L'article Kyutai CADRE : des autoencodeurs vidéo qui réduisent la latence des world models en dessous de 230 ms est applu en premier sur MarkTechPost.