雷峰网 AIتاريخ نشر المصدر

يواصل نظام MiniMax H3 مفتوح المصدر توسّعه، بينما تفتيق فريق Nvidia المصدر لحل تحسين فيديو بدقة 4K

في الآونة الأخيرة، أصدر فريق Efficient-Large-Model المُكوَّن من باحثين من NVIDIA ومعهد MIT أوزان النموذج لمشروع تحسين الفيديو Open-H3-Regenerate-2K على Hugging Face، وقد فُتح كود الاستدلال المرافق في مستودع NVlabs/Sana. يعتمد هذا الحل على MiniMax H3، ويعيد توليد مسودات الفيديو منخفضة الدقة إلى فيديو عالي الدقة، ويدعم إخراج 2K بدقة 2560×1440، ويمكنه تحقيق إعادة توليد 4K أصلية بدقة تصل إلى 3840×2160.

في الآونة الأخيرة، أصدر فريق Efficient-Large-Model المُكوَّن من باحثين من NVIDIA ومعهد MIT أوزان النموذج لمشروع تحسين الفيديو Open-H3-Regenerate-2K على Hugging Face، وقد فُتح كود الاستدلال المرافق في مستودع NVlabs/Sana. يعتمد هذا الحل على MiniMax H3، ويعيد توليد مسودات الفيديو منخفضة الدقة إلى فيديو عالي الدقة، ويدعم إخراج 2K بدقة 2560×1440، ويمكنه تحقيق إعادة توليد 4K أصلية بدقة تصل إلى 3840×2160.

يتضمن النظام الكامل لـ MiniMax H3 مراحل معالجة السياق متعدد الوسائط، وتوليد الصوت والفيديو الأساسي، وإعادة التوليد عالي الدقة. ومن بينها، يتولى نموذج H3-Base الذي أُفرجت عن أوزانه توليد الصوت والفيديو بدقة 768P، فيما تقدم وحدة H3-Regenerate-2K الرسمية خدماتها عبر واجهة API. ويُعيد المشروع المُصدر هذه المرة الاستفادة من قدرات التوليد في نموذج H3 الأساسي، مقدِّمًا تنفيذًا مفتوحًا قابلًا للنشر الذاتي لمرحلة إعادة التوليد عالي الدقة.

خلال مرحلة تدريب نموذج التحسين (Refiner)، حافظ فريق البحث على المعاملات الأصلية للعمود الفقري H3 Transformer وVAE الفيديو دون تغيير، ولم يدرِّب سوى LoRA التحسين المُضافة حديثًا. وعند الاستدلال، يُدمج LoRA التحسين مع محوّلات مجتمعية مثل LightX2V FL2VA Turbo وLMS Sharp، ويُعاد توليد تفاصيل الصورة عند الدقة المستهدفة عبر ثلاث خطوات لإزالة التشويش. وتوفر المعلومات الخاصة بالمشاهد والتخطيط والحركة في مسودة الفيديو الأساس لهذه العملية.

لرفع كفاءة الاستدلال، يعتمد المشروع على مُكبِّر الفضاء الكامن (latent upscaler) طوّره المجتمع، يُكبِّر التمثيلات الكامنة للفيديو مباشرة، ما يقلل كلفة فك الترميز والترميز المتكرر عند الدقة العالية. وفي الوقت ذاته، يجمع الحل بين الانتباه المتناثر والحسابات منخفضة الدقة ومفكك ترميز VAE السريع من SoL-Engine لتسريع مرحلتي التحسين وفك الترميز.

تُظهر الاختبارات التي أعلنها فريق المشروع أن التكلفة الزمنية الإجمالية لتكبير الفضاء الكامن والتحسين ثلاثي الخطوات وفك ترميز 2K لفيديو مدته نحو 5 ثوانٍ، في ظروف اختبار مُسخَّنة مسبقًا وعلى بطاقة NVIDIA B200 واحدة، انخفضت من 87.26 ثانية في التنفيذ غير المُحسَّن إلى 22.45 ثانية، بسرعة معالجة تعادل نحو 3.9 أضعاف الأصل. ومن بين ذلك، خفّض فك الترميز السريع زمن فك ترميز الفيديو من نحو 15 ثانية إلى نحو 1.6 ثانية.

أما فيما يخص جودة الصورة، فقد أجرى فريق المشروع تقييمًا مقارنًا على RefinerBench-150. وفي ظل المدخلات نفسها ومخرجات 2K نفسها، بلغ متوسط درجة Open-H3-Regenerate-2K في تقييم الجودة الإدراكية UniPercept 60.0، مقابل 53.4 لواجهة H3-Regenerate-2K الرسمية عبر API. وفي تقييم VBench، سجّل هذا الحل درجات أعلى في الجودة الجمالية وجودة التصوير واتساق الموضوع، بينما حافظت الواجهة الرسمية عبر API على أفضلية طفيفة في سلاسة الحركة ودرجة الحيوية.

أصدرت MiniMax أوزان H3 في أغسطس من هذا العام، وتسارعت بعدها عمليات الضبط الدقيق والتقطير والتكييف مع الأدوات حول H3، مما جذب فرق بحثية ومطوّري مجتمع من الداخل والخارج، مع تجاوز عدد التنزيلات 24 مليون مرة خلال شهر واحد، وتوليد أكثر من 300 نموذج مشتق مفتوح، ليصبح H3 أحد أعلى النماذج تنزيلًا عالميًا في عام 2026.

ويغطي التطوير المشترك بين NVIDIA وMIT حول H3 اتجاهات متعددة. فإلى جانب حل تحسين الفيديو هذا، أصدر الفريق أيضًا نموذج Render الفيديو التدفقيات StreamRender-H3 المبني على H3 Ref2VA، ومفكك الترميز السريع Sol-H3-VAE المُقطَّر من H3 Video VAE، ويستهدف الأولان على التوالي الرندرة التفاعلية للفيديو وتحسين كفاءة فك الترميز.

وقبل ذلك، قدّمت LightX2V نسخة MiniMax-H3 Turbo بإصدارات مقطَّرة بأربع خطوات وثماني خطوات وغيرها، فيما ركّز نموذج الضبط الدقيق المجتمعي Singularity على تحسين الأداء الحركي وتفاصيل الوجه والأسلوب البصري. كما أصدر الفريقان الخارجيان FastVideo وPika كلٌّ منهما إصدار المعاينة رباعي الخطوات FastH3 وPika H3 Flex بأخذ عينات من ست خطوات؛ وأدخلت ComfyUI وUnsloth نموذج H3 عبر تكييف الأوزان والإصدارات الكمّية إلى المزيد من سير العمل الإبداعي المحلي.

المصدر الأصلي

雷峰网 AI

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل