Mistral AI acaba de lanzar Voxtral 3. Mistral Voxtral 3 es una familia de modelos de voz acompañada de un SDK de agente de voz. Incluye 3 modelos de transcripción, 1 modelo de texto a voz y un SDK construido sobre LiveKit. Un único lugar para escuchar, razonar, hacer llamadas a herramientas y hablar. Los 4 modelos están en vista previa pública en la API de Mistral.
TL;DR
- Tamaño: Voxtral Mini Transcribe 3 tiene 4B de parámetros. Tamaño de Small Transcribe 3: no revelado. Ambos modelos por lotes enumeran un contexto de 32k.
- Se ejecuta en: API de Mistral (endpoints de la UE, EE. UU. y globales) o en tu propia infraestructura a través de ventas de Mistral. Necesidades de GPU y VRAM: no reveladas. Mistral dice que Mini se adapta a entornos con recursos limitados.
- Rendimiento: Top 3 en rankings independientes de voz a texto, más fuerte en diarización y transcripción multilingüe por lotes.
- Mejor: 2.1% de AA-WER para Small Transcribe 3, #3 en Artificial Analysis.
- Peor: Tiempo real a 240 ms: 7.4% de WER en FLEURS 35, frente al 4.2% de Gemini 3.5 Realtime.
¿Qué incluye la familia Voxtral 3?
Mistral enumera 4 modelos y 1 SDK:
- Voxtral Small Transcribe 3: transcripción por lotes y diarización insignia. La documentación también enumera traducción, preguntas y respuestas sobre voz, resumenes y llamada de funciones.
- Voxtral Mini Transcribe 3: un modelo de 4B para trabajos por lotes más baratos y rápidos.
- Voxtral Mini Transcribe Realtime 3: ASR en streaming sobre WebSocket con detección de fin de turno.
- Voxtral Speech 3: texto a voz, también llamado Voxtral Mini TTS 3 en la publicación.
Todos los modelos de transcripción admiten diarización y sesgo de contexto. El sesgo de contexto toma términos clave o texto libre para mejorar la recuperación. La transcripción por lotes cubre 50 idiomas, incluidos 24 idiomas oficiales de la UE.
¿Cómo funciona el SDK de agente de voz Voxtral?
El SDK está construido sobre LiveKit y ejecuta 3 etapas como 1 pipeline de transmisión. Realtime Transcribe 3 escucha y detecta cuándo la persona que llama deja de hablar. Un LLM general, como Mistral Small 4, razona y llama a herramientas. Voxtral Speech 3 responde con el tono de la conversación hasta el momento.
Cada turno se completa en menos de 1 segundo. El agente deja de hablar cuando la persona que llama interrumpe. Gestiona llamadas telefónicas mediante SIP y sesiones de navegador o aplicación mediante WebRTC. Como cada etapa es un modelo separado, los equipos pueden intercambiar el LLM, la voz o el idioma.
¿Qué tan preciso es Voxtral Transcribe 3?
Estos números son reportados por la propia Mistral:
- FLEURS 45 (WER, idioma forzado / inferido): Small 4.1% / 4.0%. MAI-Transcribe-2 empata en 4.1% / 4.0%. Mini 4.6% / 4.5%. Whisper large-v3 16.0% / 14.9%.
- Diarización (cpWER, 5 conjuntos públicos): Small 18.4% y Mini 18.6%. Pyannote obtiene 19.0% y MAI-Transcribe-2 20.3%.
- Recuperación de frases clave (Earnings 22): Small 94.6% con contexto, 81.4% sin contexto. Scribe v2 registra 94.3% y 84.0%.
En Artificial Analysis, Small obtiene un 2.1% de AA-WER y Mini un 2.2%. Solo Fun-Realtime-ASR-preview (1.7%) y MAI-Transcribe-2 (2.0%) quedan mejor ubicados. La velocidad es la brecha: el factor de velocidad de Small es 65.8x, frente a 307.5x para MAI-Transcribe-2.
¿Cómo se comparan la transcripción en tiempo real y el TTS?
En FLEURS 35, el modelo en tiempo real intercambia latencia por precisión. Obtiene un 5.7% de WER a 2,400 ms y un 6.4% a 480 ms. A 240 ms, el WER sube a 7.4%. Gemini 3.5 Realtime Transcribe obtiene 4.2% y MAI-Transcribe-2 Streaming 5.8%. GPT Live Transcribe (8.4%) y Scribe v2 Realtime (8.7%) quedan por detrás de todas las configuraciones de Voxtral.
Voxtral Speech 3 cuesta $13 por 1M de caracteres. Mistral dice que esto subasta a OpenAI TTS-1, Deepgram, ElevenLabs Flash y Gemini Flash. Los controles explícitos cubren emotion, pacing y emphasis. La página del modelo enumera ~90 ms hasta el primer audio y 34 etiquetas de emociones. Pro Voice adapta el estilo de un hablante a partir de 30 minutos de audio. Artificial Analysis lo ubica en el top 12 de ambas arenas de TTS.
Voxtral 3 frente a MAI-Transcribe-2, Scribe v2 y Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| Desarrollador | Mistral AI | Microsoft AI | ElevenLabs | |
| Parámetros | No divulgado (Mini: 4B) | No divulgado | No divulgado | No divulgado |
| Idiomas | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, forzado / inferido (Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| cpWER de diarización (Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER (Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| Factor de velocidad AA (Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| Precio por 1,000 min (Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| Precio de lista del proveedor | $0.004/min | $0.10/hora, oferta por tiempo limitado | $0.22/hora | Facturado por tokens, consulte los precios de Google |
¿Cuánto cuesta Voxtral 3 y dónde se puede ejecutar?
Según la tabla de precios:
- Voxtral Mini Transcribe 3 (lote): $0.0035/min
- Voxtral Small Transcribe 3: $0.004/min
- Voxtral Mini Transcribe Realtime 3: $0.008/min
- Voxtral Speech 3 (lote y tiempo real): $13 por 1M de caracteres
- API de agente de voz: $0.04/min con Mistral Small 4, $0.08/min con cualquier otro modelo de razonamiento
Los modelos se ejecutan en los endpoints europeos, de EE. UU. y globales de Mistral. OpenRouter también enumera los 3 nuevos modelos con endpoints alojados en la UE y con retención de datos cero.
Conclusiones clave
- Voxtral 3 incluye 3 modelos ASR, 1 modelo TTS y un SDK de agente de voz de LiveKit.
- Small Transcribe 3 alcanza un AA-WER de 2.1%, el puesto #3 en Artificial Analysis.
- La mejor diarización del gráfico: 18.4% de cpWER, por delante de Pyannote y MAI-Transcribe-2.
- La transcripción por lotes cuesta entre $0.0035 y $0.004 por minuto; el TTS cuesta $13 por 1M de caracteres.
- La precisión en tiempo real queda por detrás de Gemini 3.5 Realtime, y no se anunciaron pesos abiertos.
Echa un vistazo a la anunciación de Voxtral 3, la documentación de audio y las páginas de los modelos. Todo el crédito corresponde al investigador de este proyecto. Además, siéntete libre de seguirnos en Twitter y no olvides unirte a nuestro 150k+ML SubReddit y suscribirte a nuestro Newsletter. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
La entrada Mistral AI lanza Voxtral 3: voz a texto, TTS y un SDK de agente de voz apareció primero en MarkTechPost.