Fish Audio تطلق Drama 3، نموذج MoE مفتوح الأوزان بحجم 35B لتحويل النص إلى كلام

هذا الأسبوع، أصدرت Fish Audio Fish Audio Drama 3. Drama 3 هو نموذج تحويل نص إلى كلام من Fish Audio يقبل توجيهات تمثيلية بلغة عادية. وهو نموذج mixture-of-experts بحجم 35B مع نحو 3B من المعلمات النشطة لكل رمز. الـ متوفرة على Hugging Face، والنموذج متاح أيضاً مباشرة عبر واجهة Fish Audio API. وبالنسبة للمطورين، يُعد خياراً قابلاً للاستضافة الذاتية للحوار المكتوب والكتب الصوتية والدبلجة.

الخلاصة السريعة

• الحجم: 35B من إجمالي المعلمات، نحو 3B نشطة لكل رمز (8 من أصل 256 خبيرًا بالإضافة إلى 1 مشترك). طول السياق: غير معلن.
• يعمل على: 1 وحدة معالجة رسومات NVIDIA بسعة 48 جيجابايت على الأقل بدقة FP8. بدون دعم لوحدة المعالجة المركزية أو Apple MPS أو AMD ROCm. المعايير المرجعية الرسمية تستخدم 1 وحدة H200.
• الأداء: أعلى نتائج نماذج Fish Audio على Artificial Analysis، لكنه لا يزال متأخراً عن عدة واجهات API مغلقة في جودة Elo.
• الأفضل: دقة 95.9% في أسماء العلامات التجارية والأماكن والمصطلحات التقنية في اختبار Pronunciation Robustness من Artificial Analysis.
• الأضعف: 86.3% في التسلسلات الدقيقة (الأكواد والمسارات ورسائل البريد الإلكتروني)، وهي أضعف فئات النطق لديه.
• الخلاصة:
  • الأفضل: كلام متعدد المتحدثين وقابل للتوجيه بأوزان مفتوحة.
  • الأسوأ: حد أدنى لوحدة رسومات بسعة 48 جيجابايت وترخيص بسقف للإيرادات.

ما هو Fish Audio Drama 3؟

يحوّل Drama 3 نصاً سينمائياً مع توجيهات بين أقواس مربعة إلى كلام مؤدّى. يضع الكتّاب إشارات مثل [barely holding it together] قبل السطر. أما الوسوم الزوجية مثل <whisper> فإنها تغيّر الكلمات المحصورة فقط، وفق وثائق Drama 3. ويمكن كتابة التوجيهات بأي لغة، بمعزل عن لغة السطر المنطوق.

يدعم النموذج 83 لغةعلامات المتحدثين <|speaker:0|> إلى <|speaker:15|> تسمح بما يصل إلى 16 حرفًا في 1 طلب. تأخذ الـ API معرّف صوت 1 لكل متحدث، لذا يُعرض المشهد الكامل في استدعاء واحد.

كيف تعمل بنية Drama 3؟

وفقًا لـ منشور الإطلاق، يبدأ العمود الفقري من نموذج اللغة Qwen3.5-35B-A3B. يحتوي على 40 طبقة، مقسمة إلى 3 طبقات Gated DeltaNet لكل 1 طبقة انتباه كامل مُبوَّبة. فقط 1 طبقة من كل 4 تحتفظ بذاكرة KV cache. أما طبقات DeltaNet فتخزّن السجل في حالة ذات حجم ثابت بدلًا من ذلك.

يحلّ فكّ Codebook-MTP الجديد محلّ فكّ Fast AR لكل إطار المُستخدَم في S2. يحتوي على 4 طبقات مشتركة تُغذّي 9 طبقات، 1 لكل كتاب صوتي. فقط الكتابان 0 و1 يُرجِعان الإشارة إلى العمود الفقري؛ بينما كان S2 يُرجِع جميعها، أي 10.

مُرمِّز الصوت دون تغيير عن S2. وهو مبني على Descript Audio Codec ويُخرج صوتًا بمعدل 44.1 kHz. ويعمل بمعدل نحو 21.5 إطارًا في الثانية.

تم تدريب النموذج على 3 مراحل تدريب مسبق، ثم ضبط بالتعليمات، ثم تعلّم معزز. استخدم التعلم المعزز GRPO دون عقوبة KL وبنموذج مكافأة واحد متعلَّم للتفضيل البشري.

كيف يؤدي Drama 3 في الاختبارات المرجعية؟

تُبلِّغ Fish Audio عن حصول Drama 3 على 93.2% إجمالًا في Artificial Analysis Pronunciation Robustness، مترتبًا في المرتبة #1. وقد حصل سابقه S2.1 Pro على 88.1%. يقيّم المستمعون البشريون الكلمات الإنجليزية الصعبة عبر 4 فئات:

• العلامات التجارية والأماكن والمصطلحات التقنية: 95.9% (S2.1 Pro: 87.3%)
• القراءات المعتمدة على السياق: 95.3% (86.1%)
• الاختصارات مثل الأرقام والتواريخ والوحدات: 93.6% (92.7%)
• التسلسلات الدقيقة مثل الرموز والمسارات والبريد الإلكتروني: 86.3% (79.4%)

يختبر هذا المرجع النطق، لا الأداء العاطفي. وتصف Fish Audio الجودة التعبيرية وصفًا نوعيًا فقط. على لوحة تصنيف الجودة من Artificial Analysis، يحتفظ ‘Drama 3 Preview’ بتقييم Elo مقداره 1242. وهذا يتفوق على S2.1 Pro عند 1190 لكنه يتأخر عن Eleven v4 Turbo عند 1328.

ما العتاد الذي يحتاجه Drama 3؟

يُدرج دليل تثبيت Fish Speech ما لا يقل عن 48 GB من ذاكرة GPU من NVIDIA بصيغة FP8. لا يدعم النظام CPU ولا Apple MPS ولا AMD ROCm. تُقدَّم خبرات MoE بصيغة FP8، مع بقية الأوزان بصيغة bf16.

تُبلِّغ بطاقة النموذج عن نتائج البث على 1 H200. عند 1 بث، يبلغ الوقت الوسيط حتى أول صوت 88.9 ms مع عامل زمن حقيقي قدره 0.131. وعند 16 بثًا، تصل الإنتاجية إلى 927.6 إطارًا في الثانية. يتم التقديم عبر SGLang-Omni، الذي لا تُعتَمد أنويته المدمجة إلا على وحدات Hopper GPU.

كيف يمكنك الوصول إلى Drama 3، وكم تكلّف؟

في واجهة API المستضافة، اضبط الترويسة model على drama-3 تشغيل POST /v1/tts. تحذّر الوثائق من أن الترويسة المفقودة أو المكتوبة بشكل خاطئ ترجع بصمت إلى s2.1-pro. سعر القائمة هو 50 دولارًا لكل مليون (1M) حرف. سعر الإطلاق البالغ 10 دولارًا سارٍ حتى 12 نوفمبر 2026، وفق الإطلاق.

تستخدم الأوزان ترخيص Fish Audio المجتمعي الإصدار 1.0. الاستخدام البحثي وغير التجاري مجاني. الاستخدام التجاري مجاني في حال كان الإيراد السنوي أقل من 500,000 دولار. استضافة Drama 3 كواجهة API تابعة لطرف ثالث تتطلب ترخيصًا منفصلًا. يجب أن تعرض المنتجات عبارة ‘Built with Fish Audio.’ يُحظر استنساخ صوت حقيقي دون موافقة.

مقارنة Drama 3 بأقرب المنافسين

الخلاصات الرئيسية

• Drama 3 هو نموذج TTS من نوع MoE بحجم 35B مع ~3B معاملات نشطة.
• التوجيه بلغة مبسطة و16 متحدثًا لكل طلب تستهدف الصوتيات المكتوبة من سيناريو.
• 93.2% في AA Pronunciation Robustness؛ بينما تتأخر التسلسلات الدقيقة عند 86.3%.
• الاستضافة الذاتية تتطلب 48 جيجابايت أو أكثر من ذاكرة NVIDIA بصيغة FP8.
• الاستخدام التجاري المجاني يتوقف عند 500,000 دولار أمريكي من الإيرادات السنوية.

اطلع على الأوزان على Hugging Faceو التقرير التقنيو مستودع GitHub و منشور الإطلاق. كل الفضل يعود إلى الباحث في هذا المشروع. كما لا تترددوا في متابعتنا على Twitter ولا تنسوا الانضمام إلى 150k+ML SubReddit والاشتراك في نشرة البريدية لدينا. انتظر! هل أنت على تيليجرام؟ الآن يمكنك الانضمام إلينا على تيليجرام أيضًا.

المنشور Fish Audio تطلق Drama 3، نموذج تحويل النص إلى كلام MoE مفتوح الأوزان بحجم 35B ظهر لأول مرة على MarkTechPost.