In letzter Zeit haben das Efficient-Large-Model-Team, bestehend aus Forschern von NVIDIA und dem MIT, die Modelgewichte des Video-Enhancement-Projekts Open-H3-Regenerate-2K auf Hugging Face veröffentlicht. Die entsprechende Rechencode liegt nun im Repository von NVlabs/Sana zur Verfügung. Dieses Modell basiert auf MiniMax H3 und wandelt Vorläufige niedriger Auflösung-Videos in hochauflösende Videos um. Es unterstützt eine Ausgabe von 2K mit 2560×1440 und kann bis zu einer nativen 4K-Ausgabe von 3840×2160 wiederherstellen.
Das vollständige System von MiniMax H3 umfasst Aspekte wie die Multimodale Kontextverarbeitung, die Erstellung von Grundaudio- und Videodaten sowie die Hochauflösende Wiederherstellung. Dabei ist der freigegebene H3-Base-Weight verantwortlich für die Erstellung von 768P-Audio- und Videodaten, und der offizielle H3-Regenerate-2K-Modul bietet über API-Dienste eine Dienstleistung an. Das veröffentlichte Projekt nutzt die Generierungsfähigkeiten des H3-Basismodells und bietet eine selbst installierbare Implementierung für den Bereich der Hochauflösenden Wiederherstellung.
In der Trainingsphase des Detailmodells halten die Forschergruppe die ursprünglichen Parameter des H3 Transformer-Kernes und des VideovAE-Modells bei, trainieren jedoch nur den neu hinzugefügten Detail-LoRA. Bei der Inferenz wird der Detail-LoRA in Kombination mit Community-Adaptern wie LightX2V FL2VA Turbo und LMS Sharp verwendet, um durch einen dreistufigen Noisengang die Bilddetails unter der Zielauflösung neu zu erzeugen. Die Szenen-, Layout- und Bewegungsinformationen im Videovorlage sind die Grundlage für diesen Prozess.
Um die Rechenleistung zu erhöhen, verwendet das Projekt einen von der Gemeinschaft entwickelten Subspace-Amplifier, der die potenzielle Darstellung des Videos direkt vergrößert und die Kosten der wiederholten Decodierung und Kodierung bei hoher Auflösung reduziert. Gleichzeitig kombiniert das System die dünne Aufmerksamkeit von SoL-Engine, die niedrige Präzision und den schnellen VAE-Dekoder, um die Verarbeitungsschritte der Feinabstimmung und Decodierung zu beschleunigen.
Die von der Projektgruppe veröffentlichten Tests zeigen, dass unter den vorbeifrühgeheizten Testbedingungen mit einem einzelnen NVIDIA B200-GPU die Gesamtkonstellation aus Vergrößerung des Subspace, Detaillierung in drei Schritten und 2K-Dekodierung eines etwa 5-Sekunden-Langzeitvideos von 87,26 Sekunden auf 22,45 Sekunden abnimmt, was eine um ca. 3,9-mal höhere Verarbeitungsgeschwindigkeit bedeutet. Dabei reduziert der schnelle Decoder die Dekodierzeit des Videos von etwa 15 Sekunden auf etwa 1,6 Sekunden.
Was die Bildqualität angeht, führte das Projektteam Vergleichstests auf RefinerBench-150 durch. Unter denselben Eingaben und der gleichen 2K-Ausgabe erreichte Open-H3-Regenerate-2K im UniPercept-Test zur Wahrnehmungsqualität eine durchschnittliche Punktzahl von 60,0, während die offizielle H3-Regenerate-2K-API 53,4 betrug. Im VBench-Test erzielte dieses Modell höhere Punktzahlen in Bezug auf die ästhetische Qualität, die Bildbildung und die Konsistenz des Subjekts; die offizielle API war jedoch leicht überlegen in Bezug auf die Bewegungsglätte und die Dynamik.
MiniMax H3 wurde im August dieses Jahres mit Gewicht eingeführt. Die feinen Anpassungen, Derivierungen und Tool-Anpassungen rund um H3 nahmen schnell zu, was Teams aus dem In- und Ausland sowie Community-Entwickler anzog. Im Monat über 24 Millionen Mal heruntergeladen wurde, und mehr als 300 öffentliche Abgeleitete Modelle entstanden. H3 wurde somit eines der Modelle mit den höchsten globalen Downloads in 2026.
Dabei arbeiten NVIDIA und MIT gemeinsam an der Entwicklung von H3 in verschiedenen Bereichen. Neben diesem Video-Verstärkungskonzept hat das Team außerdem ein flussorientiertes Video-Render-Modell namens StreamRender-H3 veröffentlicht, das auf H3 Ref2VA basiert, sowie einen schnellen Decoder namens Sol-H3-VAE, der aus dem H3-Video-VAE abgeleitet wurde. Beides dient der Optimierung der Interaktiven Video-Rendering- und Decodierungseffizienz.
Zuvor bot das von LightX2V veröffentlichte MiniMax-H3 Turbo vierstufige und achtstufige Destillationen an, während das Community-Refinement-Modell Singularity auf die Optimierung der Bewegungsleistung, der Gesichtsdetails und des visuellen Stils abzielte. Die Auslandsteams FastVideo und Pika haben jeweils die vierstufige Vorvertonungsversion von FastH3 und die sechstufige Sammlungsversion von Pika H3 Flex veröffentlicht; ComfyUI und Unsloth haben durch angepasste Gewichtungen und Quantisierungsversionen H3 in weitere lokale Kreativprozesse eingeführt.
Dieser Artikel wird von MiniMax bereitgestellt, Quantumbit hat die Genehmigung zur Veröffentlichung erhalten, die Meinungen gehören dem ursprünglichen Autor.