Fish Audio veröffentlicht Drama 3, ein 35B Open-Weight MoE Text-to-Speech-Modell

Diese Woche hat Fish Audio veröffentlicht Fish Audio Drama 3. Drama 3 ist ein Text-to-Speech-Modell von Fish Audio, das Regieanweisungen in natürlicher Sprache entgegennimmt. Es ist ein 35B Mixture-of-Experts-Modell mit etwa 3B aktiven Parametern pro Token. Die Gewichte sind auf Hugging Face verfügbar, und das Modell ist auch live in der Fish Audio API. Für Entwickler ist es eine selbst hostbare Option für geschriebene Dialoge, Hörbücher und Synchronisation.

TL;DR

• Größe: 35B Parameter insgesamt, etwa 3B aktiv pro Token (8 von 256 Experten plus 1 geteilter). Kontextlänge: Nicht angegeben.
• Läuft auf: 1 NVIDIA-GPU mit mindestens 48 GB in FP8. Kein CPU, Apple MPS oder AMD ROCm. Die offiziellen Benchmarks verwenden 1 H200.
• Leistung: Fish Audios am besten bewertetes Modell auf Artificial Analysis, aber bei Qualitäts-Elo weiterhin hinter mehreren geschlossenen APIs.
• Am besten: 95,9% bei Marken, Orten und Fachbegriffen in Artificial Analysis Pronunciation Robustness.
• Am schlechtesten: 86,3% bei exakten Sequenzen (Codes, Pfade, E-Mails), seiner schwächsten Aussprachekategorie.
• Fazit:
  • Am besten: steuerbare, mehrsprechige Sprache mit offenen Gewichten.
  • Am schlechtesten: 48-GB-GPU-Untergrenze und eine Lizenz mit Umsatzobergrenze.

Was ist Fish Audio Drama 3?

Drama 3 verwandelt ein Skript zusammen mit Regieanweisungen in eckigen Klammern in gespielte Sprache. Autoren platzieren Hinweise wie [barely holding it together] vor einer Zeile. Gepaarte Tags wie <whisper> ändern nur die eingeschlossenen Wörter, gemäß der Drama 3-Dokumentation. Anweisungen können in jeder Sprache geschrieben sein, unabhängig von der gesprochenen Zeile.

Das Modell unterstützt 83 Sprachen. Sprecher-Tags <|speaker:0|> bis <|speaker:15|> bis zu 16 Zeichen in 1 Anfrage erlauben. Die API nimmt 1 Voice-ID pro Sprecher, sodass eine komplette Szene in einem einzigen Aufruf gerendert wird.

Wie funktioniert die Drama-3-Architektur?

Laut dem Launch-Beitragbasiert das Backbone auf dem Sprachmodell Qwen3.5-35B-A3B. Es hat 40 Schichten, gruppiert als 3 Gated-DeltaNet-Schichten pro 1 gated Full-Attention-Schicht. Nur 1 von 4 Schichten behält einen KV-Cache.

Ein neuer Codebook-MTP-Decoder ersetzt den per-frame Fast-AR-Decoder, der in S2verwendet wurde. Er hat 4 gemeinsame Schichten, die 9 Schichten speisen, 1 pro akustischem Codebook. Nur die Codebooks 0 und 1 werden in das Backbone zurückgespeist; S2 speiste alle 10 zurück.

Der Audio-Tokenizer ist unverändert gegenüber S2. Er basiert auf dem Descript Audio Codec und gibt Audio mit 44.1 kHz aus. Er läuft mit etwa 21.5 Frames pro Sekunde.

Das Training durchlief 3 Pre-Training-Stufen, dann Instruction Tuning, dann Reinforcement Learning. RL verwendete GRPO ohne KL-Strafterm und ein einzelnes gelerntes menschliches Präferenz-Belohnungsmodell.

Wie schlägt sich Drama 3 in Benchmarks?

Fish Audio meldet Drama 3 mit 93.2% insgesamt auf Artificial Analysis Pronunciation Robustness, auf Platz 1 rangierend. Sein Vorgänger S2.1 Pro erreichte 88.1%. Menschliche Hörer bewerten schwierige englische Wörter in 4 Kategorien:

• Marken, Orte, technische Begriffe: 95.9% (S2.1 Pro: 87.3%)
• Kontextabhängige Lesungen: 95.3% (86.1%)
• Kurzschreibweisen wie Zahlen, Datumsangaben und Einheiten: 93.6% (92.7%)
• Exakte Sequenzen wie Codes, Pfade und E-Mails: 86.3% (79.4%)

Dieser Benchmark testet die Aussprache, nicht die emotionale Darbietung. Fish Audio beschreibt die emotionale Qualität nur qualitativ. Auf der Artificial Analysis Qualitäts-Ranglistehält „Drama 3 Preview“ ein Elo von 1242. Das übertrifft S2.1 Pro mit 1190, liegt aber hinter Eleven v4 Turbo mit 1328.

Welche Hardware benötigt Drama 3?

Der Fish-Speech-Installationsleitfaden listet mindestens 48 GB NVIDIA-GPU-Speicher in FP8. CPU, Apple MPS und AMD ROCm werden nicht unterstützt. MoE-Experten werden in FP8 ausgeliefert, die übrigen Gewichte in bf16.

Die Modellkarte berichtet Streaming-Ergebnisse auf 1 H200. Bei 1 Stream liegt die mediane Zeit bis zum ersten Audio bei 88.9 ms mit einem Real-Time-Faktor von 0.131. Bei 16 Streams erreicht der Durchsatz 927.6 Frames pro Sekunde. Das Serving läuft über SGLang-Omni, dessen fusionierte Kernels nur auf Hopper-GPUs validiert sind.

Wie erhält man Zugriff auf Drama 3, und was kostet es?

In der gehosteten API setzt man den model -Header auf drama-3 auf POST /v1/tts. Die -Dokumentation warnt, dass ein fehlender oder falsch geschriebener Header still auf s2.1-prozurückfällt. Die Listenpreise liegen bei $50 pro 1M Zeichen. Ein Einführungspreis von $10 gilt bis zum 12. November 2026, laut dem Launch-Beitrag.

Die Gewichte stehen unter der Fish Audio Community License v1.0. Forschung und nicht-kommerzielle Nutzung sind kostenlos. Kommerzielle Nutzung ist kostenlos bei weniger als USD 500,000 Jahresumsatz. Drama 3 als Drittanbieter-API zu hosten, erfordert eine separate Lizenz. Produkte müssen ‘Built with Fish Audio.’ anzeigen. Das Klonen einer echten Stimme ohne Einwilligung ist verboten.

Drama 3 im Vergleich zu den nächsten Konkurrenten

Wichtigste Erkenntnisse

• Drama 3 ist ein 35B-MoE-TTS-Modell mit ~3B aktiven Parametern.
• Sprachanweisungen in einfacher Sprache und 16 Sprecher pro Anfrage zielen auf skriptbasierte Audioinhalte ab.
• 93,2 % bei AA Pronunciation Robustness; exakte Sequenzen liegen mit 86,3 % zurück.
• Selbst-Hosting benötigt 48 GB+ NVIDIA-Speicher in FP8.
• Kostenlose kommerzielle Nutzung endet bei USD 500,000 Jahreseinkommen.

Schauen Sie sich die Gewichte auf Hugging Facean, den technischen Bericht, das GitHub-Repository und den Launch-Beitragan. Alle Credits gehen an den Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.

Der Beitrag Fish Audio veröffentlicht Drama 3, ein 35B Open-Weight MoE Text-to-Speech-Modell erschien zuerst auf MarkTechPost.