Kyutai hat CADREveröffentlicht, offene kausale Diffusions-Repräsentations-Autoencoder für interaktive Weltmodelle. Der Kyutai-CADRE-Video-Autoencoder zielt auf ein Problem ab: Aktionsverzögerung. Viele Weltmodelle leihen sich Autoencoder von Text-zu-Video-Generatoren aus. Diese Autoencoder packen viele Frames in ein Latent, sodass jede Aktion warten muss. Laut der Forschungs- arbeitlaufen CADRE-Weltmodelle mit 20 fps auf 1 H100 und reagieren innerhalb von 230 ms.
TL;DR
- Größe: 7 Autoencoder, jeder mit etwa 476M trainierten Parametern plus einem eingefrorenen 86M DINOv3 ViT-B/16. Das Weltmodell hat 1.2B Parameter. Video läuft mit 288×512, 20 fps.
- Läuft auf: 1 H100 (bf16, batch 1). Quantisierte Varianten: Nicht angegeben.
- Leistung: CADRE bildet den Großteil der Latenz-Qualitäts-Frontier ab. Es ist in 42 von 48 Vergleichen mit MIRA, Wan 2.2, Cosmos und LTX-2 genauso schnell und besser.
- Bestes Ergebnis: Driving-FVD von 162.6 (CADRE-2×16×16, 1 step) gegenüber 599.7 bei Wan 2.2.
- Schlechtestes Ergebnis: Robot-Manipulation Action Following (ARR) von 0.45 für CADRE-2×32×32, gegenüber 0.85 bei Wan 2.2.
Was ist CADRE?
CADRE ist eine Familie von Video-Autoencodern von Kyutai, die für aktionsbedingte Weltmodelle entwickelt wurde. Ein Weltmodell generiert im latenten Raum des Autoencoders. Daher bestimmt die Kompression des Autoencoders sowohl die Kosten pro Frame als auch die Aktionsverzögerung.
Die Kompression wird als τ×s×s geschrieben. τ ist die Anzahl der Frames pro Latent, und s ist der räumliche Faktor. Die Forschungsarbeit gibt die Latenz als τ/f plus Generierungs- und Dekodierzeit an. Bei τ = 8 und 20 fps fügt der Chunk allein 400 ms hinzu. Menschen bemerken, wenn ihre eigene Bewegung sich um mehr als etwa 230 ms verzögert.
Wie funktioniert CADRE?
Der Encoder verwendet das MIRA -Rezept wieder. Ein eingefrorenes DINOv3 extrahiert Per-Patch-Features aus jedem Frame. Eine trainierte 3D-Faltung komprimiert diese dann in ein 64-Kanal-Latent. Nur diese Engstelle ändert sich zwischen den 7 Mitgliedern.
Der Decoder ist ein kausaler Diffusion-Transformer mit 24 Blöcken. Er streamt Chunk für Chunk. Progressive Selbstdestillation lehrt ihn, in 1 oder 2 Schritten zu dekodieren. Dies geschieht in einer einzigen Trainingsphase, ohne adversarial loss.
Die Autoencoder werden auf 23 öffentlichen Videoquellen, etwa 76k Stunden, trainiert. Die Mischung umfasst Web-, Roboter-, Fahr- und Spiele-Videos.
Wie wurde CADRE evaluiert?
Kyutai trainierte denselben 1.2B kausalen Diffusion-Transformer auf jedem Autoencoder. Es verwendete 4 Umgebungen: Roboter-Manipulation (ABC), menschliche Manipulation (EgoDex), Fahren (PhysicalAI AV) und Indoor-Navigation (RealEstate10K). Jedes Modell sieht 2 s echtes Video und generiert dann 4.8 s.
Bewertet Bildqualität der Covers (FID), Bewegungsqualität (FVD) und Befolgung von Aktionen (ARR). ARR verwendet einen eingefrorenen Inverse-Dynamics-Probe. Ein ARR von 1 entspricht echtem Video.
Was zeigen die Benchmarks?
Auf einer H100 reagiert CADRE-2×32×32 in 185 ms und hält 23.4 fps mit 1 Dekodierungsschritt durch. Der Wan 2.2 Autoencoder benötigt 317 ms, LTX-2 492 ms und Cosmos 605 ms. DC-AE ist mit 118 ms schneller, aber frame-by-frame.
Die Lücke ist bei bewegter Kamera am größten. Beim Fahren erreicht Wan 2.2 ein FVD von 599.7 und LTX-2 913.3. Bei der Indoor-Navigation fällt der ARR von LTX-2 auf 0.04. Gegenüber dem neu trainierten MIRA-Decoder senkt der 1-Schritt-Diffusions-Decoder das FVD um den Faktor 1.4 bis 2.5.
Was sind die 4 Erkenntnisse?
- Dekodieren per Diffusion: bei starker Kompression verschwimmt die perzeptive Regression, während Diffusion 1 scharfes Video sampelt.
- Zeit im Autoencoder komprimieren: Patching im Weltmodell verliert Details. Bei 8 Frames fällt der ARR von 0.72 auf 0.56.
- Kamerabewegung entscheidet über Kompression: statische Kameras vertragen zeitliche Kompression. Bewegte Kameras bevorzugen weniger Frames und gröbere räumliche Tokens.
- Grobe Tokens schaden zuerst der Bewegung: bei der Roboter-Manipulation vervielfacht eine räumliche Kompression von 32× das FVD um 2.4 gegenüber 16×. Das FID barely bewegt sich kaum.
Vergleich: CADRE vs. andere Video-Autoencoder
| Merkmal | CADRE-2×32×32 | CADRE-2×16×16 | MIRA-Rezept | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| Kompression (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (Paper) |
| Tokens pro 16 Frames | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| Decoder | Kausale Diffusion, 1 bis 2 Schritte | Kausale Diffusion, 1 bis 2 Schritte | Perzeptuelle Regression | Kausal | Kausal | Nicht-kausal, fensterbasiert |
| Aktionslatenz, 1 H100 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| Max. fps, 1 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD, driving (niedriger ist besser) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD, Robotermanipulation | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR, Robotermanipulation (höher ist besser) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| Rekonstruktions-PSNR (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| Lizenz der Gewichte | CC BY-NC 4.0 + DINOv3 License | CC BY-NC 4.0 + DINOv3 License | Nicht offengelegt | Apache 2.0 | NVIDIA Open Model License | LTX-2 Community License |
Latenz, fpsA, FVD, ARR und PSNR: CADRE Paper, Tabellen 4, 6 und 7. CADRE verwendet 1 Dekodierungsschritt. Alle Zahlen wurden von Kyutai selbst angegeben.
Wo schneidet CADRE schlecht ab?
CADRE gewinnt nicht überall. Bei der Robotermanipulation erreicht Cosmos ein FVD von 39.5 gegenüber 47.6 für das beste 1-Schritt-CADRE. Am schnellen Ende schlägt DC-AE CADRE-1×48×48 bei der Manipulation. Wan 2.2 rekonstruiert auch zurückgehaltenes Video deutlich besser, mit 35.02 dB PSNR.
Das Kyutai-Team argumentiert, dass Rekonstruktion keine Aussage über Rollouts trifft. Wan 2.2 rangiert beim Indoor-Rollout-FVD auf dem letzten Platz.
Lange Latenten hinterlassen sichtbare Nähte zwischen den Chunks. Bei τ = 8 erreicht der Grenzüberschuss 1.6 bis 1.8 über alle Umgebungen hinweg. CADRE-4×24×24 ist ein Ausreißer bei der Navigation, mit FVD 403 im Fahren. Jedes Weltmodell deckt eine Umgebung bei 288×512 ab. Ob die Ergebnisse auf Generalisten-Modelle übertragbar sind, bleibt offen.
Wie können Entwickler CADRE nutzen?
Der Code ist MIT-lizenziert. Die Gewichte auf Hugging Face stehen unter CC BY-NC 4.0, kommerzielle Nutzung ist also ausgeschlossen. Die Veröffentlichung umfasst 7 Autoencoder, 4 länger trainierte Multi-Resolution-Versionen und 4 Weltmodelle auf CADRE-2×16×16. Eine Live-Demo ermöglicht es, sie per Tastatur zu steuern.
Wichtigste Erkenntnisse
- 7 offene Autoencoder, jeweils einen Flaschenhals auseinander, isolieren Kompression als einzige Variable.
- Weltmodelle auf CADRE laufen mit 20 fps auf 1 H100, unter 230 ms Latenz.
- Driving-FVD sinkt auf 162.6, gegenüber 599.7 bei Wan 2.2.
- Statische Kameras begünstigen zeitliche Kompression; bewegte Kameras begünstigen räumliche Kompression.
- Gewichte sind nicht-kommerziell (CC BY-NC 4.0); der Code ist MIT.
Schauen Sie sich das Paper, den Kyutai-Blog, das GitHub-Repo und die Modellsammlungan. Die gesamte Anerkennung gebührt der Forscherin bzw. dem Forscher dieses Projekts. Folgen Sie uns gerne auch auf Twitter und vergesst nicht, unserem beizutreten 150k+ML SubReddit und abonniert unseren Newsletter. Wartet! Seid ihr auf Telegram? jetzt könnt ihr uns auch auf Telegram beitreten.
Möchtet ihr mit uns zusammenarbeiten, um euer GitHub-Repo ODER eure Hugging-Face-Seite ODER ein Produktrelease ODER ein Webinar usw. zu bewerben? Verbindet euch mit uns
Der Beitrag Kyutai CADRE: Video-Autoencoder, die die Latenz von World Models unter 230 ms senken erschien zuerst auf MarkTechPost.