Récemment, l'équipe Efficient-Large-Model, composée de chercheurs de NVIDIA et du MIT, a publié sur Hugging Face les poids du modèle du projet d'amélioration vidéo Open-H3-Regenerate-2K, dont le code d'inférence est désormais disponible dans le dépôt NVlabs/Sana. Cette solution, basée sur MiniMax H3, régénère des brouillons vidéo en basse résolution en vidéos haute résolution, prenant en charge une sortie 2K en 2560×1440 et pouvant atteindre au maximum une régénération 4K native en 3840×2160.
Le système complet de MiniMax H3 comprend le traitement multimodal du contexte, la génération audio-vidéo de base et la régénération en haute résolution. Parmi ceux-ci, le H3-Base, dont les poids sont déjà ouverts, est chargé de générer l'audio-vidéo en 768P, tandis que le module officiel H3-Regenerate-2K est fourni via une API. Le projet publié cette fois-ci réutilise les capacités de génération du modèle de base H3 et offre, pour l'étape de régénération en haute résolution, une implémentation ouverte pouvant être déployée soi-même.
Lors de la phase d'entraînement du modèle de raffinement, l'équipe de recherche a maintenu inchangés les paramètres originaux du backbone H3 Transformer et du VAE vidéo, en n'entraînant que le LoRA de raffinement nouvellement ajouté. Lors de l'inférence, le LoRA de raffinement est fusionné avec des adaptateurs communautaires tels que LightX2V FL2VA Turbo et LMS Sharp, et régénère, via trois étapes de débruitage, les détails de l'image à la résolution cible. Les scènes, la disposition et les informations de mouvement contenues dans la vidéo de base servent de fondement à ce processus.
Pour améliorer l'efficacité de l'inférence, le projet utilise un amplificateur d'espace latent développé par la communauté, qui amplifie directement la représentation latente des vidéos, réduisant ainsi le coût des opérations répétées de décodage et d'encodage en haute résolution. Par ailleurs, la solution combine l'attention clairsemée, le calcul en basse précision et le décodeur VAE rapide du SoL-Engine afin d'accélérer les étapes de raffinement et de décodage.
Les tests publiés par l'équipe du projet montrent que, sur un seul GPU NVIDIA B200 et dans des conditions de test après préchauffage, la latence totale pour l'agrandissement dans l'espace latent, le raffinement en trois étapes et le décodage en 2K d'une vidéo d'environ 5 secondes est passée de 87.26 secondes avec l'implémentation non optimisée à 22.45 secondes, soit une vitesse de traitement environ 3.9 fois supérieure à l'originale. Parmi ces améliorations, le décodeur rapide a réduit le temps de décodage de la vidéo d'environ 15 secondes à environ 1.6 seconde.
Concernant la qualité d'image, l'équipe du projet a mené une évaluation comparative sur RefinerBench-150. À conditions d'entrée identiques et avec la même sortie 2K, Open-H3-Regenerate-2K obtient un score moyen de 60.0 sur UniPercept, la métrique d'évaluation de la qualité perceptive, contre 53.4 pour l'API officielle H3-Regenerate-2K. Dans l'évaluation VBench, cette solution obtient des scores plus élevés en qualité esthétique, en qualité d'imagerie et en cohérence du sujet, tandis que l'API officielle reste légèrement supérieure en fluidité des mouvements et en dynamisme.
MiniMax H3 a publié ses poids en août de cette année, et les travaux de fine-tuning, de distillation et d'adaptation d'outils autour de H3 se sont rapidement multipliés, attirant des équipes de recherche et des développeurs communautaires en Chine comme à l'étranger ; en un mois, le modèle a dépassé 24,000,000 de téléchargements et a généré plus de 300 modèles dérivés publics, faisant de H3 l'un des modèles les plus téléchargés au monde en 2026.
Parmi elles, la collaboration entre NVIDIA et le MIT autour du développement de H3 couvre plusieurs directions. Outre la solution d'amélioration vidéo présentée ici, l'équipe a également publié StreamRender-H3, un modèle de rendu vidéo en streaming construit sur H3 Ref2VA, ainsi que Sol-H3-VAE, un décodeur rapide distillé à partir du VAE vidéo H3, respectivement destinés au rendu vidéo interactif et à l'optimisation de l'efficacité du décodage.
Auparavant, LightX2V avait proposé des versions distillées de MiniMax-H3 Turbo en quatre étapes et huit étapes, tandis que le modèle affiné par la communauté, Singularity, mettait l'accent sur l'optimisation des mouvements, des détails du visage et du style visuel. Les équipes étrangères FastVideo et Pika ont également publié respectivement la version d'aperçu FastH3 en quatre étapes et Pika H3 Flex avec échantillonnage en six étapes ; de leur côté, ComfyUI et Unsloth ont rendu H3 accessible à davantage de flux de travail de création locale grâce à des poids adaptés et des versions quantifiées.