최근 엔비디아와 매사추세츠공과대학교(MIT) 연구자들로 구성된 Efficient-Large-Model 팀이 Hugging Face에서 비디오 향상 프로젝트 Open-H3-Regenerate-2K의 모델 가중치를 공개했으며, 이에 대한 추론 코드는 NVlabs/Sana 저장소에서 공개되었다. 이 솔루션은 MiniMax H3를 기반으로 저해상도 비디오 초안을 고해상도 비디오로 재생성하며, 2560×1440의 2K 출력을 지원하고 최대 3840×2160의 네이티브 4K 재생성을 구현할 수 있다.
MiniMax H3의 전체 시스템은 멀티모달 컨텍스트 처리, 기본 오디오·비디오 생성, 고해상도 재생성 등의 단계를 포함한다. 그중 가중치가 공개된 H3-Base는 768P 오디오·비디오 생성을 담당하고, 공식 H3-Regenerate-2K 모듈은 API를 통해 서비스를 제공한다. 이번에 공개된 프로젝트는 H3 기반 모델의 생성 능력을 재사용하여 고해상도 재생성 단계를 위해 자체 배포 가능한 오픈 구현을 제공한다.
디테일 정제 모델의 학습 단계에서 연구팀은 H3 Transformer 백본과 비디오 VAE의 기존 파라미터를 그대로 유지하고, 새로 추가된 정제용 LoRA만 학습했다. 추론 시에는 정제용 LoRA를 LightX2V FL2VA Turbo, LMS Sharp 등 커뮤니티 어댑터와 병합하여 사용하고, 3단계 디노이징을 통해 목표 해상도에서 화면 디테일을 재생성한다. 비디오 초안 속 장면, 레이아웃, 모션 정보가 이 과정의 기초를 제공한다.
추론 효율을 높이기 위해 프로젝트는 커뮤니티가 개발한 잠재 공간 업스케일러를 채택하여 비디오의 잠재 표현을 직접 확대함으로써 고해상도에서의 반복 디코딩·인코딩 비용을 줄였다. 동시에 이 솔루션은 SoL-Engine의 희소 어텐션, 저정밀 연산, 빠른 VAE 디코더를 결합하여 정제 및 디코딩 단계를 가속화한다.
프로젝트 팀이 발표한 테스트에 따르면, NVIDIA B200 GPU 한 장, 워밍업을 마친 테스트 조건에서 약 5초 분량의 비디오 하나에 대한 잠재 공간 업스케일링, 3단계 정제, 2K 디코딩의 총 소요 시간이 최적화되지 않은 구현의 87.26초에서 22.45초로 감소하여 처리 속도는 약 3.9배가 되었다. 이 중 빠른 디코더는 비디오 디코딩 시간을 약 15초에서 약 1.6초로 단축했다.
화질 면에서 프로젝트 팀은 RefinerBench-150에서 비교 평가를 진행했다. 동일한 입력, 동일한 2K 출력 조건에서 Open-H3-Regenerate-2K는 지각 품질 평가 UniPercept에서 평균 60.0점을 기록한 반면, 공식 H3-Regenerate-2K API는 53.4점이었다. VBench 평가에서는 이 솔루션이 미적 품질,成像 품질, 피사체 일관성 점수가 더 높았고, 공식 API는 모션 부드러움과 역동성 면에서 여전히 다소 우세했다.
MiniMax H3는 올해 8월에 가중치가 공개되었으며, H3를 중심으로 한 파인튜닝, 증류, 도구 어댑테이션이 빠르게 늘어나 국내외 연구팀과 커뮤니티 개발자들의 참여를 이끌었고, 한 달 만에 다운로드 수가 2400만 회를 넘었으며 300개가 넘는 공개 파생 모델이 만들어져 H3는 2026년 세계에서 다운로드 수가 가장 높은 모델 중 하나가 되었다.
그중 엔비디아와 MIT가 함께 진행한 H3 관련 개발은 여러 방향을 아우른다. 이번 비디오 향상 솔루션 외에도 해당 팀은 H3 Ref2VA 기반으로 구축된 스트리밍 비디오 렌더링 모델 StreamRender-H3와 H3 비디오 VAE에서 증류한 빠른 디코더 Sol-H3-VAE를 공개하여, 각각 인터랙티브 비디오 렌더링과 디코딩 효율 최적화를 겨냥했다.
이전에 LightX2V가 선보인 MiniMax-H3 Turbo는 4단계 증류 버전을 제공했고, 커뮤니티 파인튜닝 모델 Singularity는 동작 표현, 얼굴 디테일, 시각 스타일 최적화에 중점을 두었다. 해외 팀 FastVideo와 Pika도 각각 4단계 프리뷰 버전인 FastH3와 6단계 샘플링의 Pika H3 Flex를 공개했으며, ComfyUI와 Unsloth는 가중치 및 양자화 버전을 지원함으로써 H3를 더 많은 로컬 창작 워크플로에 도입시켰다.