Mistral AI vient de publier Voxtral 3. Mistral Voxtral 3 est une famille de modèles vocaux accompagnée d'un SDK d'agent vocal. Elle comprend 3 modèles de transcription, 1 modèle de synthèse vocale et un SDK construit sur LiveKit. Un seul endroit pour écouter, raisonner, appeler des outils et parler. Les 4 modèles sont en aperçu public sur l'API Mistral.
TL;DR
- Taille : Voxtral Mini Transcribe 3 compte 4B paramètres. Taille de Small Transcribe 3 : non communiquée. Les deux modèles par lots affichent un contexte de 32k.
- Fonctionne sur : l'API Mistral (points de terminaison UE, États-Unis et mondiaux) ou votre propre infrastructure via Mistral sales. Besoins en GPU et VRAM : non communiqués. Mistral indique que Mini convient aux environnements à ressources limitées.
- Performances : Top 3 des classements indépendants de speech-to-text, le plus performant en diarisation et transcription multilingue par lots.
- Meilleur : 2.1 % AA-WER pour Small Transcribe 3, #3 sur Artificial Analysis.
- Pire : Realtime à 240 ms : 7.4 % de WER sur FLEURS 35, contre 4.2 % pour Gemini 3.5 Realtime.
Que contient la famille Voxtral 3 ?
Mistral liste 4 modèles et 1 SDK :
- Voxtral Small Transcribe 3: transcription par lots et diarisation phares. La documentation liste aussi la traduction, les Q&A vocaux, le résumé et le function calling.
- Voxtral Mini Transcribe 3: un modèle de 4B pour des tâches par lots moins chères et plus rapides.
- Voxtral Mini Transcribe Realtime 3: ASR en streaming via WebSocket avec détection de fin de tour.
- Voxtral Speech 3: de synthèse vocale, également appelé Voxtral Mini TTS 3 dans l'article.
Tous les modèles de transcription prennent en charge la diarisation et le context biasing. Le context biasing utilise des termes clés ou du texte libre pour améliorer le rappel. La transcription par lots couvre 50 langues, dont 24 langues officielles de l'UE.
Comment fonctionne le SDK d'agent vocal Voxtral ?
Le SDK est construit sur LiveKit et exécute 3 étapes en 1 pipeline en streaming. Realtime Transcribe 3 écoute et détecte quand l'appelant cesse de parler. Un LLM général, tel que Mistral Small 4, raisonne et appelle des outils. Voxtral Speech 3 répond dans le ton de la conversation jusqu'ici.
Chaque tour se termine en moins d'1 seconde. L'agent cesse de parler lorsque l'appelant l'interrompt. Il gère les appels téléphoniques via SIP et les sessions navigateur ou application via WebRTC. Comme chaque étape est un modèle distinct, les équipes peuvent remplacer le LLM, la voix ou la langue.
Quelle est la précision de Voxtral Transcribe 3 ?
Ces chiffres sont auto-déclarés par Mistral :
- FLEURS 45 (WER, langue forcée / déduite) : Small 4,1 % / 4,0 %. MAI-Transcribe-2 égale à 4,1 % / 4,0 %. Mini 4,6 % / 4,5 %. Whisper large-v3 16,0 % / 14,9 %.
- Diarisation (cpWER, 5 ensembles publics) : Small 18,4 % et Mini 18,6 %. Pyannote obtient 19,0 % et MAI-Transcribe-2 20,3 %.
- Rappel des phrases clés (Earnings 22) : Small 94,6 % avec contexte, 81,4 % sans. Scribe v2 affiche 94,3 % et 84,0 %.
Sur Artificial Analysis, Small obtient 2,1 % AA-WER et Mini 2,2 %. Seuls Fun-Realtime-ASR-preview (1,7 %) et MAI-Transcribe-2 (2,0 %) sont mieux classés. La vitesse est l'écart : le facteur de vitesse de Small est de 65,8x, contre 307,5x pour MAI-Transcribe-2.
Comment la transcription en temps réel et le TTS se comparent-ils ?
Sur FLEURS 35, le modèle en temps réel échange de la latence contre de la précision. Il obtient 5,7 % de WER à 2 400 ms et 6,4 % à 480 ms. À 240 ms, le WER monte à 7,4 %. Gemini 3.5 Realtime Transcribe obtient 4,2 % et MAI-Transcribe-2 Streaming 5,8 %. GPT Live Transcribe (8,4 %) et Scribe v2 Realtime (8,7 %) sont derrière tous les réglages de Voxtral.
Voxtral Speech 3 coûte 13 $ par 1M de caractères. Mistral indique que cela sous-cote OpenAI TTS-1, Deepgram, ElevenLabs Flash et Gemini Flash. Les contrôles explicites couvrent emotion, pacing et emphasis. La page du modèle indique ~90 ms de time-to-first-audio et 34 balises d'émotion. Pro Voice adapte le style d'un locuteur à partir de 30 minutes d'audio. Artificial Analysis le place dans le top 12 des deux arènes TTS.
Voxtral 3 vs MAI-Transcribe-2, Scribe v2 et Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| Développeur | Mistral AI | Microsoft AI | ElevenLabs | |
| Paramètres | Non divulgués (Mini : 4B) | Non divulgués | Non divulgués | Non divulgués |
| Langues | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, forcé / inféré (Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| Diarization cpWER (Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER (Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| Facteur de vitesse AA (Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| Prix pour 1,000 min (Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| Prix catalogue du fournisseur | $0.004/min | 0,10 $/heure, offre à durée limitée | 0,22 $/heure | Facturé en tokens, voir la tarification de Google |
Combien coûte Voxtral 3, et où pouvez-vous l'exécuter ?
Selon le tableau des prix:
- Voxtral Mini Transcribe 3 (batch) : 0,0035 $/min
- Voxtral Small Transcribe 3 : 0,004 $/min
- Voxtral Mini Transcribe Realtime 3 : 0,008 $/min
- Voxtral Speech 3 (batch et temps réel) : 13 $ par 1M de caractères
- Voice agent API : 0,04 $/min avec Mistral Small 4, 0,08 $/min avec tout autre modèle de raisonnement
Les modèles fonctionnent sur les endpoints européens, américains et mondiaux de Mistral. OpenRouter répertorie également les 3 nouveaux modèles avec des endpoints hébergés dans l'UE et sans conservation des données.
Points clés à retenir
- Voxtral 3 regroupe 3 modèles ASR, 1 modèle TTS et un SDK d'agent vocal LiveKit.
- Small Transcribe 3 atteint 2,1 % de AA-WER, 3e sur Artificial Analysis.
- Meilleure diarisation du graphique : 18,4 % de cpWER, devant Pyannote et MAI-Transcribe-2.
- La transcription en batch coûte entre 0,0035 $ et 0,004 $ par minute ; le TTS coûte 13 $ par 1M de caractères.
- La précision en temps réel est inférieure à celle de Gemini 3.5 Realtime, et aucun poids ouverts n'ont été annoncés.
Découvrez l'annonce de Voxtral 3, les documents audio et les pages des modèles. Tout le mérite revient au chercheur de ce projet. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attention ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre également sur telegram.
L'article Mistral AI Releases Voxtral 3: Speech-to-Text, TTS and a Voice Agent SDK est appenuara en premier sur MarkTechPost.