Cette semaine, Fish Audio a lancé Fish Audio Drama 3. Drama 3 est un modèle de synthèse vocale de Fish Audio qui accepte des indications de jeu en langage naturel. C'est un modèle mixture-of-experts de 35B avec environ 3B de paramètres actifs par token. Les poids sont disponibles sur Hugging Face, et le modèle est également accessible en direct via l' Fish Audio API. Pour les développeurs, c'est une option auto-hébergeable pour les dialogues scriptés, les livres audio et le doublage.
TL;DR
- Taille : 35B de paramètres au total, environ 3B actifs par token (8 experts sur 256 plus 1 partagé). Longueur de contexte : non communiquée.
- Fonctionne sur : 1 GPU NVIDIA avec au moins 48 GB en FP8. Pas de CPU, Apple MPS ni AMD ROCm. Les benchmarks officiels utilisent 1 H200.
- Performance : le modèle le mieux noté de Fish Audio sur Artificial Analysis, mais toujours derrière plusieurs API fermées sur l'Elo de qualité.
- Point fort : 95,9 % sur les marques, lieux et termes techniques dans Artificial Analysis Pronunciation Robustness.
- Point faible : 86,3 % sur les séquences exactes (codes, chemins, e-mails), sa catégorie de prononciation la plus faible.
- En résumé :
- Point fort : une voix rejouable avec plusieurs locuteurs et des poids ouverts.
- Point faible : un plancher de GPU de 48 GB et une licence plafonnée en revenus.
Qu'est-ce que Fish Audio Drama 3 ?
Drama 3 transforme un script accompagné d'indications entre crochets en jeu parlé. Les auteurs placent des cues comme [barely holding it together] avant une réplique. Les balises appariées comme <whisper> ne modifient que les mots qu'elles encadrent, selon la documentation de Drama 3. Les indications peuvent être écrites dans n'importe quelle langue, indépendamment de la réplique parlée.
Le modèle prend en charge 83 langues. Balises de locuteur <|speaker:0|> pour <|speaker:15|> permettre jusqu'à 16 caractères en 1 requête. L'API prend 1 ID de voix par locuteur, de sorte qu'une scène complète est rendue en un seul appel.
Comment fonctionne l'architecture de Drama 3 ?
Selon le billet de lancement, le backbone part du modèle de langage Qwen3.5-35B-A3B. Il comporte 40 couches, regroupées en 3 couches Gated DeltaNet pour 1 couche d'attention complète à porte. Seule 1 couche sur 4 conserve un cache KV. Les couches DeltaNet stockent l'historique dans un état de taille constante à la place.
Un nouveau décodeur Codebook-MTP remplace le décodeur Fast AR par image utilisé dans S2. Il comporte 4 couches partagées alimentant 9 couches, 1 par codebook acoustique. Seuls les codebooks 0 et 1 retroalimentent le backbone ; S2 retroalimentait les 10.
Le tokenizer audio est inchangé par rapport à S2. Il est construit sur le Descript Audio Codec et produit un audio à 44.1 kHz. Il fonctionne à environ 21.5 images par seconde.
L'entraînement a comporté 3 étapes de pré-entraînement, puis un réglage par instructions, puis un apprentissage par renforcement. Le RL a utilisé GRPO sans pénalité KL et un unique modèle de récompense appris basé sur les préférences humaines.
Comment Drama 3 se comporte-t-il sur les benchmarks ?
Fish Audio annonce Drama 3 à 93.2% global sur Artificial Analysis Pronunciation Robustness, classé #1. Son prédécesseur S2.1 Pro avait obtenu 88.1%. Des auditeurs humains jugent des mots anglais difficiles dans 4 catégories :
- Marques, lieux, termes techniques : 95.9% (S2.1 Pro : 87.3%)
- Lectures dépendantes du contexte : 95.3% (86.1%)
- Formes abrégées telles que nombres, dates et unités : 93.6% (92.7%)
- Séquences exactes telles que codes, chemins et e-mails : 86.3% (79.4%)
Ce benchmark teste la prononciation, pas le rendu émotionnel. Fish Audio décrit la qualité émotionnelle uniquement de manière qualitative. Sur le classement de qualité d'Artificial Analysis, « Drama 3 Preview » détient un Elo de 1242. Cela surpasse S2.1 Pro à 1190 mais reste derrière Eleven v4 Turbo à 1328.
Quel matériel Drama 3 nécessite-t-il ?
Le guide d'installation de Fish Speech indique au moins 48 Go de mémoire GPU NVIDIA en FP8. CPU, Apple MPS et AMD ROCm ne sont pas pris en charge. Les experts MoE sont livrés en FP8, les autres poids en bf16.
La fiche du modèle signale des résultats en streaming sur 1 H200. À 1 flux, le temps médian avant le premier audio est de 88.9 ms avec un facteur temps réel de 0.131. À 16 flux, le débit atteint 927.6 images par seconde. Le service passe par SGLang-Omni, dont les noyaux fusionnés ne sont validés que sur les GPU Hopper.
Comment accéder à Drama 3, et combien coûte-t-il ?
Dans l'API hébergée, définissez l'en-tête model sur drama-3 sur POST /v1/tts. La documentation avertit qu'un en-tête manquant ou mal orthographié retombe silencieusement sur s2.1-pro. Le prix catalogue est de 50 $ par 1M de caractères. Un prix de lancement de 10 $ est en vigueur jusqu'au 12 novembre 2026, selon le billet de lancement.
Les poids utilisent la Fish Audio Community License v1.0. La recherche et l'usage non commercial sont gratuits. L'usage commercial est gratuit en dessous de 500,000 USD de revenu annuel. Héberger Drama 3 en tant qu'API tierce nécessite une licence distincte. Les produits doivent afficher « Built with Fish Audio ». Cloner une voix réelle sans consentement est interdit.
Drama 3 face aux concurrents les plus proches
| Caractéristique | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| Taille totale | 35B (MoE) | 5B (4B Slow AR + 400M Fast AR) | Non divulguée | Non divulguée |
| Paramètres actifs | ~3B | Pas MoE | Non divulgués | Non divulgués |
| Poids | Ouverts, Community License v1.0 | Ouverts, Research License | API et applications | API (Model Studio) |
| Langues | 83 | 80+ | 90+ | 8 listées, plus les dialectes |
| Matériel auto-hébergé | NVIDIA 48 Go+, FP8 | NVIDIA 24 Go+, ou CPU | Hébergé uniquement | Hébergé uniquement |
| Latence | TTFA p50 de 88.9 ms, H200 | ~100 ms TTFA, H200 | ~150 ms de délai médian avant le premier son | Non communiqué |
| Elo de qualité AA (source) | 1242 (Preview) | 1116 | 1328 | 1266 |
| Prix API par 1M de caractères | $50 au tarif, $10 jusqu'au 12 nov. | $15 | $40 | $20, Singapour |
Points clés
- Drama 3 est un modèle TTS MoE de 35B avec ~3B de paramètres actifs.
- Les instructions en langage naturel et 16 locuteurs par requête ciblent l'audio scripté.
- 93,2 % sur AA Pronunciation Robustness ; les séquences exactes restent à 86,3 %.
- L'auto-hébergement nécessite 48 Go+ de mémoire NVIDIA en FP8.
- L'usage commercial gratuit s'arrête à 500,000 USD de revenus annuels.
Découvrez les poids sur Hugging Face, le rapport technique, le dépôt GitHub et le billet de lancement. Tout le crédit revient au chercheur de ce projet. Par ailleurs, n'hésitez pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez maintenant nous rejoindre également sur telegram.
L'article Fish Audio lance Drama 3, un modèle MoE de synthèse vocale (text-to-speech) open-weight de 35B est applu pour la première fois sur MarkTechPost.