本周，Fish Audio 发布了 Fish Audio Drama 3。Drama 3 是 Fish Audio 推出的一个接受自然语言表演指导的文本转语音模型。它是一个 35B 混合专家模型，每个 token 约有 3B 参数处于活跃状态。 权重已发布在 Hugging Face 上，该模型也已上线 Fish Audio API。对开发者而言，它是一个可自托管的选项，适用于脚本对白、有声读物和配音。
TL;DR
- 规模： 总参数 35B，每个 token 约有 3B 活跃参数（256 个专家中的 8 个加上 1 个共享专家）。上下文长度：未披露。
- 运行环境： 1 块至少 48 GB 显存的 NVIDIA GPU（FP8）。不支持 CPU、Apple MPS 或 AMD ROCm。官方基准测试使用 1 块 H200。
- 性能： Fish Audio 在 Artificial Analysis 上得分最高的模型，但在质量 Elo 上仍落后于多个闭源 API。
- 最佳： 在 Artificial Analysis 发音鲁棒性测试中，品牌、地名和技术术语的准确率为 95.9%。
- 最差： 精确序列（代码、路径、电子邮件）的准确率为 86.3%，是其最弱的发音类别。
- 结论：
- 最佳：可指导的、多说话人语音且权重开放。
- 最差：48 GB 的 GPU 门槛以及收入上限许可证。
什么是 Fish Audio Drama 3？
Drama 3 将剧本连同方括号中的指导转换为带表演的语音。作者在台词前放置如下提示： [barely holding it together] 成对的标签如 <whisper> 仅改变所包含的词语，详见 Drama 3 文档。指导可以用任何语言书写，与所朗读的台词语言无关。
该模型支持 83 种语言。发言人标签 <|speaker:0|> 至 <|speaker:15|> 在 1 次请求中最多允许 16 个字符。该 API 为每位说话人接收 1 个语音 ID，因此完整场景可在 1 次调用中渲染完成。
Drama 3 架构是如何工作的?
根据 发布帖,该模型的主干从 Qwen3.5-35B-A3B 语言模型开始。它有 40 层,按每 1 个门控全注意力层搭配 3 个 Gated DeltaNet 层的方式分组。每 4 层中只有 1 层保留 KV 缓存。DeltaNet 层则以固定大小的状态存储历史信息。
一种新的 Codebook-MTP 解码器取代了之前使用的逐帧 Fast AR 解码器 S2。它有4个共享层馈入9个层，每个声学码本1个。只有码本0和1会反馈到主干网络中；而S2将全部10个都反馈了。
音频分词器与 S2 相比没有变化。它基于 Descript Audio Codec 构建，输出 44.1 kHz 音频，运行速度约为每秒 21.5 帧。
训练经历了3个预训练阶段，然后是指令微调，最后是强化学习。强化学习使用了GRPO，没有KL惩罚，并使用单一的可学习人类偏好奖励模型。
Drama 3 在基准测试中的表现如何?
Fish Audio 报告 Drama 3 在上总体达到 93.2% Artificial Analysis 发音稳健性，排名第1。其前身 S2.1 Pro 得分为 88.1%。人类听众从 4 个类别评判较难的英语单词：
- 品牌、地名、技术术语：95.9%（S2.1 Pro：87.3%）
- 语境依赖型解读：95.3%（86.1%）
- 诸如数字、日期和单位的简写：93.6%（92.7%）
- 精确序列,例如代码、路径和电子邮件:86.3%(79.4%)
此基准测试的是发音,而非情感表达。Fish Audio 仅以定性方式描述情感表现力。在 Artificial Analysis 质量排行榜，‘Drama 3 Preview’ 的 Elo 分数为 1242。这一成绩高于 1190 分的 S2.1 Pro，但低于 1328 分的 Eleven v4 Turbo。
Drama 3 需要什么硬件？
该 Fish Speech 安装指南 列出在 FP8 下至少需要 48 GB 的 NVIDIA GPU 显存。不支持 CPU、Apple MPS 和 AMD ROCm。MoE 专家以 FP8 提供，其余权重为 bf16。
该 模型卡 报告了在 1 块 H200 上的流式结果。在 1 路流时，首段音频的中位延迟为 88.9 ms，实时因子为 0.131。在 16 路流时，吞吐量达到 927.6 帧每秒。服务通过 SGLang-Omni运行，其融合内核仅在 Hopper GPU 上经过验证。
如何访问 Drama 3，它的费用是多少？
在托管 API 中，设置 model 头部至 drama-3 开启 POST /v1/tts。这 文档 警告说，缺失或拼写错误的标头会静默回退到 s2.1-proMegaFon 语音克隆模型的定价为每 1M 字符 50 美元。10 美元的发布价将持续至 2026 年 11 月 12 日，根据 发布帖子.
这些权重使用 Fish Audio 社区许可证 v1.0。研究和非商业用途免费。年收入低于 500,000 美元的商业用途免费。将 Drama 3 作为第三方 API 托管需要单独的许可。产品必须显示“Built with Fish Audio”。未经同意克隆真实声音是被禁止的。
Drama 3 与最接近的竞争对手对比
| 功能特性 | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| 总规模 | 35B (MoE) | 5B (4B Slow AR + 400M Fast AR) | 未披露 | 未披露 |
| 激活参数 | ~3B | 非 MoE | 未披露 | 未披露 |
| 权重 | 开放，社区许可证 v1.0 | 开放，研究许可证 | API 和应用 | API (Model Studio) |
| 语言 | 83 | 80+ | 90+ | 已列出 8 种，另有方言 |
| 自托管硬件 | 48 GB+ NVIDIA，FP8 | 24 GB+ NVIDIA，或 CPU | 仅托管版 | 仅托管版 |
| 延迟 | 88.9 ms TTFA p50，H200 | ~100 ms TTFA，H200 | ~150 ms 中位首语音时间 | 未披露 |
| AA 质量 Elo（来源) | 1242（预览版） | 1116 | 1328 | 1266 |
| 每 1M 字符的 API 价格 | 标价 50 美元，11 月 12 日前 10 美元 | $15 | $40 | 20 美元，新加坡 |
要点总结
- Drama 3 是一个 35B MoE TTS 模型，活跃参数约 3B。
- 自然语言指令和每次请求 16 位说话人面向脚本化音频。
- AA 发音鲁棒性上达到 93.2%；精确序列则落后，为 86.3%。
- 自托管需要 48 GB+ 的 NVIDIA 显存（FP8）。
- 免费商用上限为年营收 500,000 美元。
欢迎查看 Hugging Face 上的权重、 技术报告、 GitHub 仓库 以及 发布文章。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的 Newsletter。等等！你用 Telegram 吗？ 现在你也可以在 Telegram 上加入我们。
本文 Fish Audio 发布 Drama 3，一个 35B 开放权重 MoE 文本转语音模型 首发于 MarkTechPost.