Esta semana, Fish Audio lanzó Fish Audio Drama 3. Drama 3 es un modelo de texto a voz de Fish Audio que acepta indicaciones de interpretación en lenguaje natural. Es un modelo de mezcla de expertos de 35B con unos 3B de parámetros activos por token. Los pesos están en Hugging Face, y el modelo también está disponible en la Fish Audio API. Para los desarrolladores, es una opción autoalojable para diálogos guionizados, audiolibros y doblaje.
TL;DR
- Tamaño: 35B de parámetros totales, unos 3B activos por token (8 de 256 expertos más 1 compartido). Longitud de contexto: No divulgada.
- Funciona en: 1 GPU NVIDIA con al menos 48 GB en FP8. No hay soporte para CPU, Apple MPS ni AMD ROCm. Los benchmarks oficiales usan 1 H200.
- Rendimiento: el modelo con mayor puntuación de Fish Audio en Artificial Analysis, pero aún detrás de varias API cerradas en Elo de calidad.
- Mejor: 95.9% en marcas, lugares y términos técnicos en Pronunciation Robustness de Artificial Analysis.
- Peor: 86.3% en secuencias exactas (códigos, rutas, correos electrónicos), su categoría de pronunciación más débil.
- Conclusión:
- Lo mejor: voz dirigible y multi-hablante con pesos abiertos.
- Lo peor: un mínimo de 48 GB de GPU y una licencia con tope de ingresos.
¿Qué es Fish Audio Drama 3?
Drama 3 convierte un guion junto con indicaciones entre corchetes en habla interpretada. Los escritores colocan pistas como [barely holding it together] antes de una línea. Etiquetas emparejadas como <whisper> cambian solo las palabras incluidas, según la documentación de Drama 3. Las indicaciones pueden escribirse en cualquier idioma, independientemente de la línea hablada.
El modelo admite 83 idiomas. Etiquetas de hablante <|speaker:0|> hasta <|speaker:15|> permitir hasta 16 caracteres en 1 solicitud. La API admite 1 ID de voz por hablante, por lo que una escena completa se genera en una sola llamada.
¿Cómo funciona la arquitectura de Drama 3?
Según la publicación de lanzamiento, la columna vertebral parte del modelo de lenguaje Qwen3.5-35B-A3B. Tiene 40 capas, agrupadas como 3 capas Gated DeltaNet por cada 1 capa de atención completa con puerta. Solo 1 de cada 4 capas mantiene una caché KV. Las capas DeltaNet almacenan el historial en un estado de tamaño constante en su lugar.
Un nuevo decodificador Codebook-MTP reemplaza al decodificador Fast AR por fotograma usado en S2. Tiene 4 capas compartidas que alimentan 9 capas, 1 por código acústico. Solo los códigos 0 y 1 retroalimentan la columna vertebral; S2 retroalimentaba los 10.
El tokenizador de audio no cambia respecto a S2. Está construido sobre el Descript Audio Codec y produce audio de 44.1 kHz. Funciona a unos 21.5 fotogramas por segundo.
El entrenamiento constó de 3 etapas de preentrenamiento, luego ajuste por instrucciones y después aprendizaje por refuerzo. El RL usó GRPO sin penalización KL y un único modelo de recompensa aprendido de preferencias humanas.
¿Cómo rinde Drama 3 en los benchmarks?
Fish Audio informa que Drama 3 obtiene un 93.2% global en Artificial Analysis Pronunciation Robustness, clasificado #1. Su predecesor S2.1 Pro obtuvo 88.1%. Los oyentes humanos evalúan palabras difíciles del inglés en 4 categorías:
- Marcas, lugares, términos técnicos: 95.9% (S2.1 Pro: 87.3%)
- Lecturas dependientes del contexto: 95.3% (86.1%)
- Formas abreviadas como números, fechas y unidades: 93.6% (92.7%)
- Secuencias exactas como códigos, rutas y correos electrónicos: 86.3% (79.4%)
Este benchmark prueba la pronunciación, no la expresividad emocional. Fish Audio describe la calidad emotiva solo de manera cualitativa. En el leaderboard de calidad de Artificial Analysis, «Drama 3 Preview» mantiene un Elo de 1242. Eso supera a S2.1 Pro con 1190 pero queda por debajo de Eleven v4 Turbo con 1328.
¿Qué hardware necesita Drama 3?
La guía de instalación de Fish Speech indica al menos 48 GB de memoria de GPU NVIDIA en FP8. CPU, Apple MPS y AMD ROCm no están soportados. Los expertos MoE se entregan en FP8, con los pesos restantes en bf16.
La ficha del modelo informa resultados de streaming en 1 H200. Con 1 stream, el tiempo mediano hasta el primer audio es de 88.9 ms con un factor de tiempo real de 0.131. Con 16 streams, el rendimiento alcanza 927.6 fotogramas por segundo. El servicio funciona a través de SGLang-Omni, cuyos kernels fusionados están validados solo en GPUs Hopper.
¿Cómo se accede a Drama 3 y cuánto cuesta?
En la API alojada, configure el model encabezado en drama-3 activado POST /v1/tts. La documentación advierte que un encabezado faltante o mal escrito recurre silenciosamente a s2.1-pro. El precio de lista es de $50 por 1M de caracteres. Un precio de lanzamiento de $10 estará vigente hasta el 12 de noviembre de 2026, según la publicación de lanzamiento.
Los pesos usan la Fish Audio Community License v1.0. La investigación y el uso no comercial son gratuitos. El uso comercial es gratuito por debajo de USD 500,000 en ingresos anuales. Alojar Drama 3 como una API de terceros requiere una licencia separada. Los productos deben mostrar ‘Built with Fish Audio.’ Se prohíbe clonar una voz real sin consentimiento.
Drama 3 frente a los competidores más cercanos
| Característica | Fish Audio Drama 3 | Fish Audio S2 Pro | ElevenLabs Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| Tamaño total | 35B (MoE) | 5B (4B Slow AR + 400M Fast AR) | No divulgado | No divulgado |
| Parámetros activos | ~3B | No MoE | No divulgado | No divulgado |
| Pesos | Abiertos, Community License v1.0 | Abiertos, Research License | API y aplicaciones | API (Model Studio) |
| Idiomas | 83 | 80+ | 90+ | 8 listados, más dialectos |
| Hardware de autoalojamiento | NVIDIA de 48 GB o más, FP8 | NVIDIA de 24 GB o más, o CPU | Solo alojado | Solo alojado |
| Latencia | 88.9 ms TTFA p50, H200 | ~100 ms TTFA, H200 | ~150 ms de tiempo mediano hasta la primera voz | No revelado |
| Elo de calidad AA (fuente) | 1242 (Preview) | 1116 | 1328 | 1266 |
| Precio de la API por 1M de caracteres | $50 de lista, $10 hasta el 12 de noviembre | $15 | $40 | $20, Singapur |
Conclusiones clave
- Drama 3 es un modelo TTS MoE de 35B con ~3B de parámetros activos.
- La dirección en lenguaje natural y 16 hablantes por solicitud apuntan al audio guionizado.
- 93.2% en AA Pronunciation Robustness; las secuencias exactas se quedan en 86.3%.
- El autoalojamiento requiere 48 GB o más de memoria NVIDIA en FP8.
- El uso comercial gratuito se detiene en USD 500,000 de ingresos anuales.
Consulta los pesos en Hugging Face, el informe técnico, el repositorio de GitHub y la publicación de lanzamiento. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro 150k+ML SubReddit y suscribirte a nuestro boletín. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
La entrada Fish Audio lanza Drama 3, un modelo de texto a voz MoE de pesos abiertos de 35B apareció primero en MarkTechPost.