Kyutai는 CADRE를 공개했습니다. 이는 인터랙티브 월드 모델을 위한 오픈 인과적 확산 표현 오토인코더입니다. Kyutai CADRE 비디오 오토인코더의 목표는 하나의 문제, 즉 액션 지연입니다. 많은 월드 모델이 text-to-video 생성기의 오토인코더를 빌려 씁니다. 이러한 오토인코더는 여러 프레임을 하나의 잠재 표현에 담기 때문에 모든 액션이 대기하게 됩니다. 연구 논문에 따르면, CADRE 월드 모델은 1 H100에서 20 fps로 실행되며 230 ms 이내에 반응합니다.
TL;DR
- 크기: 7개의 오토인코더로, 각각 약 476M 학습 파라미터에 동결된 86M DINOv3 ViT-B/16을 더한 구성입니다. 월드 모델은 1.2B 파라미터입니다. 비디오는 288×512, 20 fps로 실행됩니다.
- 실행 환경: 1 H100 (bf16, batch 1). 양자화 변형: 공개되지 않음.
- 성능: CADRE는 지연-품질 프론티어의 대부분을 형성합니다. MIRA, Wan 2.2, Cosmos, LTX-2와의 48개 비교 중 42개에서 동등한 속도에 더 나은 성능을 보입니다.
- 최고: Wan 2.2의 599.7 대비 162.6의 주행 FVD (CADRE-2×16×16, 1 step).
- 최악: Wan 2.2의 0.85 대비 CADRE-2×32×32의 로봇 조작 액션 추종 (ARR) 0.45.
CADRE란 무엇인가?
CADRE는 액션 조건부 월드 모델을 위해 Kyutai가 개발한 비디오 오토인코더 제품군입니다. 월드 모델은 오토인코더의 잠재 공간에서 생성을 수행합니다. 따라서 오토인코더의 압축이 프레임당 비용과 액션 지연을 모두 결정합니다.
압축은 τ×s×s로 표기합니다. τ는 잠재 표현당 프레임 수이고, s는 공간적 요인입니다. 연구에서는 지연을 τ/f에 생성 및 디코딩 시간을 더한 값으로 제시합니다. τ = 8, 20 fps에서 청크만으로 400 ms가 추가됩니다. 인간은 자신의 움직임이 약 230 ms를 넘어 늦어지면 인지합니다.
CADRE는 어떻게 작동하는가?
인코더는 MIRA 레시피를 재사용합니다. 동결된 DINOv3가 각 프레임에서 패치별 특징을 추출합니다. 이어서 학습된 3D 컨볼루션 하나가 이를 64채널 잠재 표현으로 압축합니다. 7개 멤버 사이에서 바뀌는 것은 이 병목뿐입니다.
디코더는 24개 블록으로 구성된 인과적 확산 트랜스포머입니다. 청크 단위로 스트리밍합니다. 점진적 자기 증류(progressive self-distillation)를 통해 1단계 또는 2단계로 디코딩하도록 학습합니다. 이는 적대적 손실 없이 단일 학습 스테이지에서 이루어집니다.
오토인코더는 약 76k시간 분량의 23개 공개 비디오 소스에서 학습되었습니다. 이 믹스는 웹, 로봇, 주행, 게임 비디오를 포괄합니다.
CADRE는 어떻게 평가되었는가?
Kyutai는 각 오토인코더마다 동일한 1.2B 인과적 확산 트랜스포머를 학습시켰습니다. 4가지 환경, 즉 로봇 조작(ABC), 인간 조작(EgoDex), 주행(PhysicalAI AV), 실내 내비게이션(RealEstate10K)을 사용했습니다. 각 모델은 2 s의 실제 비디오를 본 뒤 4.8 s를 생성합니다.
이미지 품질(FID), 모션 품질(FVD), 액션 수행(ARR)을 평가 점수로 측정합니다. ARR은 고정된 역동학(inverse dynamics) 프로브를 사용합니다. ARR 1은 실제 비디오와 동등함을 의미합니다.
벤치마크는 무엇을 보여주는가?
H100 한 대에서 CADRE-2×32×32는 185 ms에 반응하고 디코딩 스텝 1회로 23.4 fps를 유지합니다. Wan 2.2 오토인코더는 317 ms, LTX-2는 492 ms, Cosmos는 605 ms가 필요합니다. DC-AE는 118 ms로 더 빠르지만 프레임 단위로 처리합니다.
움직이는 카메라에서 격차가 가장 큽니다. 주행(driving)에서 Wan 2.2의 FVD는 599.7, LTX-2는 913.3에 도달합니다. 실내 내비게이션에서 LTX-2의 ARR은 0.04로 떨어집니다. 재학습된 MIRA 디코더와 비교하면, 1스텝 확산 디코더는 FVD를 1.4~2.5× 낮춥니다.
4가지 발견은 무엇인가?
- 확산으로 디코딩: 강한 압축에서는 지각적 회귀(perceptual regression)가 흐릿해지는 반면, 확산은 선명한 비디오 1개를 샘플링합니다.
- 오토인코더에서 시간을 압축: 월드 모델 내부의 패칭은 디테일을 잃습니다. 8프레임에서 ARR은 0.72에서 0.56으로 떨어집니다.
- 카메라 움직임이 압축을 결정: 고정 카메라는 시간적 압축을 견딥니다. 움직이는 카메라는 더 적은 프레임과 더 거친 공간 토큰을 선호합니다.
- 거친 토큰은 먼저 모션을 해칩니다: 로봇 조작에서 32× 공간 압축은 16× 대비 FVD를 2.4배로 만듭니다. FID는 거의 움직이지 않습니다.
비교: CADRE vs 기타 비디오 오토인코더
| 특징 | CADRE-2×32×32 | CADRE-2×16×16 | MIRA 레시피 | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| 압축 (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32 (논문) |
| 16프레임당 토큰 수 | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| 디코더 | Causal diffusion, 1~2스텝 | Causal diffusion, 1~2스텝 | 지각 회귀(perceptual regression) | Causal | Causal | 비인과(non-causal), 윈도우 방식 |
| 액션 지연 시간, H100 1개 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| 최대 fps, H100 1개 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD, 드라이빙(낮을수록 좋음) | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD, 로봇 조작 | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR, 로봇 조작(높을수록 좋음) | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| 재구성 PSNR (OpenVid-HD) | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| 가중치 라이선스 | CC BY-NC 4.0 + DINOv3 License | CC BY-NC 4.0 + DINOv3 License | 공개되지 않음 | Apache 2.0 | NVIDIA Open Model License | LTX-2 커뮤니티 라이선스 |
지연 시간(Latency), fpsA, FVD, ARR 및 PSNR: CADRE 논문, 표 4, 6, 7. CADRE는 디코딩 단계 1회를 사용합니다. 모든 수치는 Kyutai가 직접 보고한 것입니다.
CADRE는 어떤 부분에서 부족할까?
CADRE는 모든 곳에서 승리하지는 못합니다. 로봇 조작 분야에서 Cosmos는 가장 좋은 1-step CADRE의 47.6 대비 FVD 39.5를 기록합니다. 고속 영역에서는 DC-AE가 조작 분야에서 CADRE-1×48×48을 앞섭니다. Wan 2.2 역시 held-out 비디오를 35.02 dB PSNR로 훨씬 더 잘 재구성합니다.
Kyutai 팀은 재구성이 롤아웃을 예측하지 못한다고 주장합니다. Wan 2.2는 실내 롤아웃 FVD에서 최하위를 기록했습니다.
긴 잠재 표현은 청크 사이에 눈에 띄는 이음선을 남깁니다. τ = 8에서 경계 초과분은 모든 환경에서 1.6에서 1.8에 이릅니다. CADRE-4×24×24는 내비게이션에서 이상치이며, 주행에서는 FVD가 403입니다. 각 월드 모델은 288×512 해상도로 하나의 환경을 다룹니다. 이러한 결과가 범용 모델로 전이되는지 여부는 여전히 열려 있습니다.
개발자는 CADRE를 어떻게 사용할 수 있을까요?
이 코드 MIT 라이선스를 따릅니다. 가중치는 Hugging Face CC BY-NC 4.0 라이선스로 상업적 이용은 제외됩니다. 이번 공개에는 7개의 오토인코더, 더 오래 학습된 4개의 멀티 해상도 버전, 그리고 CADRE-2×16×16의 4개의 월드 모델이 포함됩니다. A 라이브 데모 키보드로 이를 조작할 수 있습니다.
핵심 요약
- 7개의 오토인코더가 병목 크기만 한 단계씩 다르게 하여, 압축을 유일한 변수로 분리했습니다.
- CADRE의 월드 모델은 1 H100에서 20 fps로 구동되며, 지연 시간은 230 ms 미만입니다.
- Driving FVD는 162.6으로 하락한 반면, Wan 2.2는 599.7입니다.
- 정지 카메라는 시간적 압축에 유리하고, 움직이는 카메라는 공간적 압축에 유리합니다.
- 가중치는 비상업적(CC BY-NC 4.0)이며, 코드는 MIT 라이선스입니다.
다음을 확인해 보세요 논문, 이 Kyutai 블로그, 그 GitHub 저장소 그리고 그 모델 컬렉션. 이 프로젝트의 연구자에게 모든 공이 돌아갑니다. 또한, 언제든지 저희를 팔로우해 주세요. 트위터 그리고 저희의 다음 항목에 참여하는 것을 잊지 마세요 ML 서브레딧 150k+ 및 구독: 저희 뉴스레터. 잠깐만요! 텔레그램 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub 저장소, Hugging Face 페이지, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십이 필요하신가요? 저희와 소통하세요
해당 게시물 Kyutai CADRE: 세계 모델 지연 시간을 230 ms 미만으로 줄이는 비디오 오토인코더 최초 게재: MarkTechPost.