Mistral AI hat gerade Voxtral 3veröffentlicht. Mistral Voxtral 3 ist eine Sprachmodellfamilie, die mit einem Voice-Agent-SDK gekoppelt ist. Sie umfasst 3 Transkriptionsmodelle, 1 Text-to-Speech-Modell und ein auf LiveKit aufbauendes SDK. Eine zentrale Anlaufstelle für Zuhören, Schlussfolgern, Tool-Aufrufe und Sprechen. Alle 4 Modelle sind in der öffentlichen Vorschau auf der Mistral API verfügbar.
TL;DR
- Größe: Voxtral Mini Transcribe 3 hat 4B Parameter. Small Transcribe 3 Größe: nicht offengelegt. Beide Batch-Modelle führen einen 32k Kontext.
- Läuft auf: Mistral API (EU-, US- und globale Endpunkte) oder Ihre eigene Infrastruktur über den Mistral-Vertrieb. GPU- und VRAM-Bedarf: nicht offengelegt. Mistral sagt, Mini eigne sich für ressourcenbeschränkte Umgebungen.
- Leistung: Top 3 bei unabhängigen Speech-to-Text-Rankings, am stärksten bei Diarisierung und mehrsprachiger Batch-Transkription.
- Bestes: 2,1 % AA-WER für Small Transcribe 3, #3 auf Artificial Analysis.
- Schlechtestes: Realtime mit 240 ms: 7,4 % WER auf FLEURS 35, gegenüber 4,2 % für Gemini 3.5 Realtime.
Was ist in der Voxtral-3-Familie enthalten?
Mistral listet 4 Modelle und 1 SDK auf:
- Voxtral Small Transcribe 3: Flaggschiff für Batch-Transkription und Diarisierung. Die Dokumentation führt außerdem Übersetzung, Speech Q&A, Zusammenfassung und Function Calling auf.
- Voxtral Mini Transcribe 3: ein 4B-Modell für günstigere, schnellere Batch-Jobs.
- Voxtral Mini Transcribe Realtime 3: Streaming-ASR über WebSocket mit End-of-Turn-Erkennung.
- Voxtral Speech 3: Text-zu-Sprache, im Beitrag auch Voxtral Mini TTS 3 genannt.
Alle Transkriptionsmodelle unterstützen Diarisierung und Context Biasing. Context Biasing nutzt Schlüsselbegriffe oder freien Text, um die Trefferquote zu verbessern. Die Batch-Transkription deckt 50 Sprachen ab, darunter 24 offizielle EU-Sprachen.
Wie funktioniert das Voxtral Voice-Agent-SDK?
Das SDK ist auf LiveKit aufgebaut und durchläuft 3 Stufen als 1 Streaming-Pipeline. Realtime Transcribe 3 hört zu und erkennt, wann der Anrufer aufhört zu sprechen. Ein allgemeines LLM, etwa Mistral Small 4, schlussfolgert und ruft Werkzeuge auf. Voxtral Speech 3 antwortet im Ton des bisherigen Gesprächs.
Jeder Zug ist in unter 1 Sekunde abgeschlossen. Der Agent hört auf zu sprechen, wenn der Anrufer ins Wort fällt. Er bewältigt Telefonate über SIP sowie Browser- oder App-Sitzungen über WebRTC. Da jede Stufe ein eigenes Modell ist, können Teams das LLM, die Stimme oder die Sprache austauschen.
Wie genau ist Voxtral Transcribe 3?
Diese Zahlen wurden von Mistral selbst gemeldet:
- FLEURS 45 (WER, erzwungene / abgeleitete Sprache): Small 4.1% / 4.0%. MAI-Transcribe-2 liegt gleichauf bei 4.1% / 4.0%. Mini 4.6% / 4.5%. Whisper large-v3 16.0% / 14.9%.
- Diarisierung (cpWER, 5 öffentliche Datensätze): Small 18.4% und Mini 18.6%. Pyannote erreicht 19.0% und MAI-Transcribe-2 20.3%.
- Keyphrase Recall (Earnings 22): Small 94.6% mit Kontext, 81.4% ohne. Scribe v2 verzeichnet 94.3% und 84.0%.
Auf Artificial Analysiserreicht Small 2.1% AA-WER und Mini 2.2%. Nur Fun-Realtime-ASR-preview (1.7%) und MAI-Transcribe-2 (2.0%) liegen höher. Die Geschwindigkeit ist der Nachteil: Smalls Geschwindigkeitsfaktor beträgt 65.8x, gegenüber 307.5x bei MAI-Transcribe-2.
Wie schneiden Echtzeit-Transkription und TTS im Vergleich ab?
Auf FLEURS 35 tauscht das Echtzeitmodell Latenz gegen Genauigkeit. Es erreicht 5.7% WER bei 2,400 ms und 6.4% bei 480 ms. Bei 240 ms steigt der WER auf 7.4%. Gemini 3.5 Realtime Transcribe erreicht 4.2% und MAI-Transcribe-2 Streaming 5.8%. GPT Live Transcribe (8.4%) und Scribe v2 Realtime (8.7%) liegen unter allen Voxtral-Einstellungen.
Voxtral Speech 3 kostet $13 pro 1M Zeichen. Laut Mistral unterbietet das OpenAI TTS-1, Deepgram, ElevenLabs Flash und Gemini Flash. Explizite Steuerungen umfassen emotion, pacing und emphasis. Die Modellseite nennt ~90 ms Zeit bis zum ersten Audio und 34 Emotions-Tags. Pro Voice passt den Stil eines Sprechers anhand von 30 Minuten Audio an. Artificial Analysis platziert es unter den Top 12 beider TTS-Arenen.
Voxtral 3 vs. MAI-Transcribe-2, Scribe v2 und Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| Entwickler | Mistral AI | Microsoft AI | ElevenLabs | |
| Parameter | Nicht offengelegt (Mini: 4B) | Nicht offengelegt | Nicht offengelegt | Nicht offengelegt |
| Sprachen | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, erzwungen / abgeleitet (Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| Diarization cpWER (Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER (Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| AA-Geschwindigkeitsfaktor (Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| Preis pro 1,000 min (Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| Listenpreis des Anbieters | $0.004/min | 0,10 $/Stunde, befristetes Angebot | 0,22 $/Stunde | Token-Abrechnung, siehe Google-Preise |
Wie viel kostet Voxtral 3, und wo kann man es betreiben?
Laut Mistral’s Preistabelle:
- Voxtral Mini Transcribe 3 (Batch): $0.0035/min
- Voxtral Small Transcribe 3: $0.004/min
- Voxtral Mini Transcribe Realtime 3: $0.008/min
- Voxtral Speech 3 (Batch und Realtime): $13 pro 1 Mio. Zeichen
- Voice Agent API: $0.04/min mit Mistral Small 4, $0.08/min mit jedem anderen Reasoning-Modell
Die Modelle laufen auf Mistral's europäischen, US- und globalen Endpunkten. OpenRouter listet auch alle 3 neuen Modelle mit EU-gehosteten Endpunkten ohne Datenspeicherung.
Wichtigste Erkenntnisse
- Voxtral 3 umfasst 3 ASR-Modelle, 1 TTS-Modell und ein LiveKit Voice-Agent-SDK.
- Small Transcribe 3 erreicht 2.1% AA-WER, Platz 3 bei Artificial Analysis.
- Beste Diarisierung im Vergleich: 18.4% cpWER, vor Pyannote und MAI-Transcribe-2.
- Batch-Transkription kostet $0.0035 bis $0.004 pro Minute; TTS kostet $13 pro 1 Mio. Zeichen.
- Die Echtzeit-Genauigkeit liegt hinter Gemini 3.5 Realtime, und es wurden keine offenen Gewichte angekündigt.
Schauen Sie sich die Voxtral 3 Ankündigung, die Audio-Dokumentation und die Modellseitenan. Alles Lob gebührt dem Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Der Beitrag Mistral AI Releases Voxtral 3: Speech-to-Text, TTS and a Voice Agent SDK erschien zuerst auf MarkTechPost.