今週、Fish Audioは Fish Audio Drama 3をリリースしました。Drama 3は、自然言語による演技指示を受け付けるFish Audioのテキスト読み上げモデルです。トークンごとに約3Bのパラメータがアクティブになる35Bの混合エキスパート(MoE)モデルです。 ウェイトはHugging Faceで公開されており、モデルは Fish Audio APIでも利用可能です。開発者にとって、台本ベースの対話、オーディオブック、吹き替えのための自己ホスト可能な選択肢となります。
TL;DR
- サイズ: 合計35Bパラメータ、トークンごとに約3Bがアクティブ(256エキスパートのうち8つと共有1つ)。コンテキスト長: 非公開。
- 動作環境: FP8で48GB以上のNVIDIA GPU 1枚。CPU、Apple MPS、AMD ROCmは非対応。公式ベンチマークはH200 1枚を使用。
- パフォーマンス: Artificial AnalysisにおけるFish Audioの最高スコアモデルですが、品質Eloでは依然としていくつかのクローズドAPIに後れを取っています。
- 最も優れた点: Artificial Analysis Pronunciation Robustnessにおけるブランド名、地名、専門用語の発音で95.9%。
- 最も劣る点: 正確なシーケンス(コード、パス、メールアドレス)で86.3%、発音カテゴリ中最弱。
- 結論:
- 長所: 指示可能で、オープンウェイトのマルチスピーカー音声。
- 短所: 48GB GPUの最低要件と収益上限付きライセンス。
Fish Audio Drama 3とは?
Drama 3は、台書きの台本と括弧書きの指示を、演技された音声に変換します。作家はセリフの前に次のようなキューを配置します: [barely holding it together] 。ペアタグ(例: <whisper> )は括られた語のみを変更します。詳細は Drama 3のドキュメントを参照してください。指示は話されるセリフの言語とは独立に、任意の言語で記述できます。
このモデルは 83言語. スピーカータグ <|speaker:0|> へ <|speaker:15|> 1リクエストあたり最大16文字まで許容されます。APIは話者ごとに1つのvoice IDを受け取るため、シーン全体を1回の呼び出しでレンダリングできます。
Drama 3アーキテクチャはどのように動作するのですか?
によると、 リリース記事バックボーンはQwen3.5-35B-A3B言語モデルから始まります。40層で構成され、ゲート付きフルアテンション層1層に対してGated DeltaNet層3層というグループ構成です。4層のうち1層のみがKVキャッシュを保持します。DeltaNet層は代わりに、固定サイズの状態に履歴を保存します。
新しいCodebook-MTPデコーダーが、で使用されていたフレームごとのFast ARデコーダーを置き換えます。 S24つの共有レイヤーが9つのレイヤー(音響コードブックごとに1つ)に供給しています。コードブック0と1のみがバックボーンへフィードバックされます。一方、S2は全10にフィードバックしていました。
音声トークナイザはS2から変更されていません。Descript Audio Codecを基盤としており、44.1 kHzの音声を出力します。動作速度は約21.5フレーム毎秒です。
学習は3つの事前学習ステージを実行した後、指示チューニング、さらに強化学習を行った。強化学習では、KLペナルティなしのGRPOと、単一の学習済み人間選好報酬モデルを使用した。
Drama 3はベンチマークでどのような性能を示しますか?
Fish AudioはDrama 3の総合スコアが93.2%であると報告している。 Artificial Analysis 発音頑健性, 1位にランクインしました。その前世代であるS2.1 Proは88.1%のスコアを記録していました。人間のリスナーは、4つのカテゴリーにわたる難しい英語の単語を判定します:
- ブランド名、地名、専門用語：95.9%(S2.1 Pro:87.3%)
- 文脈依存の読み: 95.3%(86.1%)
- 数値、日付、単位などの略記: 93.6%(92.7%)
- コード、パス、メールなどの正確なシーケンス: 86.3% (79.4%)
このベンチマークは発音をテストするものであり、感情的な表現力はテストしていません。Fish Audioは感情表現の質について定性的な記述しかしていません。On the Artificial Analysis 品質リーダーボード「Drama 3 Preview」はElo 1242を保持しています。これは1190のS2.1 Proを上回るものの、1328のEleven v4 Turboには及びません。
Drama 3にはどのようなハードウェアが必要ですか？
この Fish Speech インストールガイド FP8で48 GB以上のNVIDIA GPUメモリを要件として記載しています。CPU、Apple MPS、AMD ROCmはサポートされていません。MoEエキスパートはFP8で提供され、残りの重みはbf16です。
The モデルカード H200 1基でストリーミング推論の結果をレポートします。ストリーム数1の場合、最初の音声までの中央値時間は88.9 msで、リアルタイム係数は0.131です。ストリーム数16では、スループットが毎秒927.6フレームに達します。サービングは以下を通じて実行されます。 SGLang-Omni, 融合カーネルは Hopper GPU でのみ検証されている。
Drama 3にはどうやってアクセスするのか、そして料金はいくらなのか?
ホスト型APIでは、 model ヘッダーを drama-3 on POST /v1/ttsに設定します。 ドキュメント は、ヘッダーが欠落またはスペルミスの場合、黙って s2.1-pro。定価は1M文字あたり50ドルです。10ドルの発売価格は、以下によると、2026年11月12日まで有効です。 ローンチ投稿.
ウェイトは Fish Audio Community License v1.0の下で提供されます。研究および非商用利用は無料です。年間収益がUSD 500,000未満の商用利用は無料です。Drama 3をサードパーティAPIとしてホストするには別途ライセンスが必要です。製品は「Built with Fish Audio.」を表示しなければなりません。同意なく実在の声をクローンすることは禁止されています。
Drama 3と最も近い競合の比較
| 機能 | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| 合計サイズ | 35B (MoE) | 5B (4B Slow AR + 400M Fast AR) | 非公開 | 非公開 |
| アクティブパラメータ | 約3B | MoEではない | 非公開 | 非公開 |
| ウェイト | オープン、Community License v1.0 | オープン、Research License | APIおよびアプリ | API (Model Studio) |
| 言語 | 83 | 80+ | 90+ | 8言語掲載、方言を含む |
| セルフホスト用ハードウェア | 48 GB以上のNVIDIA、FP8 | 24 GB以上のNVIDIA、またはCPU | ホスト型のみ | ホスト型のみ |
| レイテンシ | 88.9 ms TTFA p50、H200 | ~100 ms TTFA、H200 | 初回音声までの中央値 約150 ms | 非公開 |
| AA品質Elo（出典) | 1242（Preview） | 1116 | 1328 | 1266 |
| 1M文字あたりのAPI価格 | リスト価格$50、11月12日までは$10 | $15 | $40 | $20、シンガポール |
要点
- Drama 3は、アクティブパラメータ約3Bの35B MoE TTSモデルです。
- 平易な言葉による指示と、リクエストあたり16人の話者は、台本に基づく音声を狙ったものです。
- AA Pronunciation Robustnessでは93.2%；正確なシーケンスは86.3%にとどまります。
- セルフホスティングにはFP8で48 GB以上のNVIDIAメモリが必要です。
- 商用利用の無料枠は、年間売上USD 500,000までです。
ぜひご覧ください Hugging Face上の重み、 技術レポート、 GitHubリポジトリ 、そして ローンチ記事。すべての功績はこのプロジェクトの研究者に帰します。また、お気軽に Twitter でフォローし、 150k+ML SubReddit への参加と、 our Newsletterの購読もお忘れなく。お待ちください！Telegramを使っていますか？ 現在、Telegramでも参加できるようになりました。
The post Fish Audio、35BパラメータのオープンウェイトMoEテキスト読み上げモデル「Drama 3」をリリース 最初に掲載されたのは MarkTechPost.