최근, Pika는 MiniMax H3의 파생 모델인 Pika H3 Flex를 출시했으며, 어댑터 무게와 추론 코드도 공개했습니다. 이 모델은 6단계 노이즈 제거 연산을 통해 영상과 소리를 함께 생성하며, 텍스트, 첫 번째 및 마지막 프레임, 다중 모달 참조 입력을 지원합니다. 이를 통해 창작자들은 장면 디자인, 참조 생성 및 비디오 편집 작업에 활용할 수 있습니다.
이번에 배포된 모델에는 두 가지 LoRA 어댑터가 포함되어 있으며, 이는 텍스트 및 시작/끝 프레임 조건 생성, 다중 모드 참조 생성에 각각 사용됩니다. 또한 MiniMax H3 기본 구성 요소와 로컬 추론 도구도 제공됩니다. 모델은 480P, 768P 출력을 지원하며, 약 5~15초의 비디오와 동기화된 스테레오 오디오를 생성할 수 있습니다. Pika는 ComfyUI 워크플로우와 Hugging Face Diffusers 접속 방식을 제공하여 개발자가 기존 창작 도구에 모델을 추가하는 것을 쉽게 만듭니다.
로컬에서 생성하는 것 외에도 Pika는 API를 통해 1080P, 2K, 4K 비디오 향상 및 오디오 분할 기능을 제공합니다. 창작자는 낮은 해상도로 초안을 생성하고 필터링한 후, 선택된 버전에 대해 고해상도 처리를 할 수 있습니다. 동기적으로 생성된 음성은 대사, 음악, 효과음, 시뮬레이션, 환경음 등 다섯 가지 독립적인 오디오 트랙으로 분리되어 후기 조정이 용이합니다. 고해상도의 향상된 비디오와 오디오 분할 트랙은 Pika API 서비스를 통해 제공됩니다.
피카는 기술 블로그에서, 팀이 먼저 내부 음성 및 비디오 데이터 세트에서 MiniMax H3을 감독 미세조정한 다음, 프로젝션 분포 매칭 디스트리뷰션(PDMD)을 사용하여 교사 모델의 50단계 노이즈 제거 과정을 6단계로 줄였다고 설명했습니다. 그 후, 팀은 보상 피드백 학습과 직접 선호도 최적화를 통해 LoRA 어댑터를 훈련시켜 미학적 품질, 명확성 및 지시 준수를 개선했습니다. 이 어댑터를 통합하여 추론에 사용하면 생성 단계를 추가할 필요가 없습니다.
피카는 관리형 추론 서비스도 가속화했습니다. 모델 가중치와 6단계 샘플링 방식을 유지한 테스트에서, 8개의 NVIDIA B300 GPU를 사용하여 5초, 768P 음성 및 비디오를 생성하는 데 걸리는 시간이 3.409초에서 2.129초로 줄었으며, 조건 부호화, 노이즈 제거 및 디코딩의 총 소요 시간도 약 1.6배 빠르게 변했습니다.
시각적 및 오디오 품질 측면에서 Pika가 발표한 비교 테스트 결과에 따르면, H3 Flex는 다섯 가지 시각적 및 오디오 품질 지표에서 모두 평가 모델 중 가장 높은 점수를 받았으며, DesignArena 생성형 비디오 순위 목록에서 8위를 기록했습니다. 이는 해당 목록에서 최고의 오픈소스 비디오 모델입니다.
올해 8월, MiniMax H3이 오픈소스로 공개된 후, MiniMax은 협력 기업들과 함께 다양한 사용 시나리오를 중심으로 모델을 계속해서 훈련하고 최적화했으며 커뮤니티에 공개했습니다. Running Hub과 함께 MiniMax H3 480P를 만들었고, fal과는 실시간 생성을 위한 후 훈련 및 추론 최적화를 진행하여 H3 Max 768P, H3 Max 480P를 출시했으며, FastVideo는 sparsification 및 하드웨어 적응을 통해 FastH3를 출시했습니다. 엔비디아와 MIT는 H3 관련 개발로 StreamRender-H3, Open-H3-Regenerate-2K 등 여러 모델을 공동 개발했습니다. 해외 개발자들도 관련된... H3 파생 모델은 Twitch 라이브 방송, 24시간 “AI TV 방송국”, AI 짧은 영상 라이브 방송 소프트웨어 등의 혁신적인 서비스를 만들어냈습니다.
H3 오픈소스는 한 달 동안 2400만 회 이상 다운로드되었으며, 300개 이상의 공개 파생 모델이 생성되어 2026년 세계에서 가장 많은 다운로드를 기록한 모델 중 하나가 되었습니다.