Voxtral 3

Denken

Zusammenfassung

Voxtral 3 führt ein hochmodernes Voice-Agent-SDK und hochmoderne Sprachmodelle ein, die für Echtzeit-Gespräche mit mehreren Schritten in über 50 Sprachen entwickelt wurden. Es kombiniert präzise Transkription, natürliche Sprachsynthese mit emotionaler Anpassungsfähigkeit und tiefe Tool-Integration für nahtlose Workflow-Automatisierung. Verfügbar über Mistrals in der EU gehostete API oder als Self-Deployment, gewährleistet es Datensouveränität und liefert zugleich Interaktionen mit geringer Latenz und menschenähnlicher Qualität für Kontaktcenter, virtuelle Assistenten und freihändige Copilots.

Sprachtranskription und Sprachgenerierung haben große Fortschritte gemacht, aber das Entwickeln von End-to-End-Sprachagenten, die zuhören, schlussfolgern, interagieren und komplexe Workflows bewältigen können, bleibt schwierig.

Ein zuverlässiger Voice-Agent muss vier Dinge sehr gut (und gleichzeitig) beherrschen:

1. Präzise zuhören über Sprachen, Akzente, Sprecher und Unterbrechungen hinweg,

2. Grund tief darüber, was Nutzer in bestimmten Kontexten bedeuten,

3. Sprecht natürlich mit Emotion und Ausdruck, und 

4. Handeln Sie jetzt über mehrere Schritte hinweg durch verbundene Systeme. 

Alle vier zuverlässig in Echtzeit zusammenarbeiten zu lassen, bleibt eine Herausforderung.

Um dies zu adressieren, stellen wir Voxtral 3 vor: eine neue Familie von State-of-the-Art-Modellen Sprache-zu-Text und Text-zu-Sprache Modellen, zusammen mit einem Voice-Agent-SDK, das Zuhören, Denken, Tool-Aufrufen und Sprechen in einer einzigen Echtzeit-Streaming-Pipeline vereint.

Voxtral 3 wurde entwickelt, um natürliche Konversationserlebnisse zu schaffen – von Contact-Center-Agenten und Servicedesks bis hin zu virtuellen Assistenten und freihändigen Copiloten. Mit Unterstützung für Dutzende Sprachen, ausdrucksstarker Sprache, komplexer Schlussfolgerung und tiefer Integration in Ihre eigenen Tools und Daten können mit Voxtral gebaute Agenten nuancierte Absichten interpretieren, komplexe Anfragen durchdenken und mehrstufige Aktionen über verbundene Systeme hinweg ausführen.

Wie bei anderen Mistral-Modellen ist die Voxtral 3-Familie für souveräne Bereitstellung konzipiert. Sie ist ab heute über Mistrals in der EU gehostete API oder zur Eigenbereitstellung auf der eigenen Infrastruktur verfügbar und gibt Organisationen die Kontrolle darüber, wo Audio verarbeitet wird, wie Daten behandelt werden und ob Gespräche gespeichert werden.

Höhepunkte

1. Genaue Transkription in über 50 Sprachen. Das Speech-to-Text-Modell, Voxtral Small Transcribe 3, ist State-of-the-Art bei der mehrsprachigen Transkription, erkennt, wer was gesagt hat (Diarisierung), und nutzt Schlüsselphrasen zur Verbesserung der Genauigkeit (Context-Biasing). Es erkennt, wann jemand zu Ende gesprochen hat, damit Agenten ohne Verzögerung antworten können (End-of-Turn-Erkennung).

2. Natürliche Sprache, die sich an das Gespräch anpasst. Das Text-to-Speech-Modell, Voxtral Mini TTS 3, stellt neue Stimmen vor, die ihre Emotion, ihr Tempo und ihre Betonung an den Gesprächskontext anpassen, mit Unterstützung für 35+ Sprachen und 50+ Dialekte.

3. Menschliche Intelligenz auf Ihren (gesprochenen) Befehl. Das neue Voice-Agent-SDK kombiniert Zuhören, Schlussfolgern, Tool-Aufrufe und Sprechen zu einem Echtzeiterlebnis. Agenten können Informationen abrufen, mit Geschäftssystemen interagieren und Aufgaben während laufender Gespräche am Telefon oder im Web erledigen.

4. Pro Voice für besonders präzise Stimm.anpassung. Für professionelle Anwendungsfälle, in denen einfaches Voice Cloning nicht ausreicht, kann Voxtrals Pro Voice -Adaption den charakteristischen Charakter, die emotionale Bandbreite und den Sprechstil einer Person sprachübergreifend mit nur 30 Minuten Audio reproduzieren. 

5. Ihre Voice-KI, auf Ihrer Infrastruktur. Nutzen Sie Mistrals in der EU gehostete API oder deployen Sie Voxtral 3 auf Ihrer eigenen Infrastruktur. Behalten Sie vertrauliche Gespräche in Ihrer Umgebung und kontrollieren Sie, ob Audioaufnahmen gespeichert werden. 

Testen Sie Voxtral jetzt  | Mehr erfahren

Es versteht 50+ Sprachen mit modernster Genauigkeit.

Voxtral Transcribe 3 stellt einen bedeutenden Meilenstein in den Bereichen Transkription, Diarisierung (wer hat wann gesprochen) und Kontext-Biasing dar. Die Liste der unterstützten Sprachen wurde auf 50 erweitert, darunter 24 offizielle EU-Sprachen und viele ressourcenarme asiatische und indische Sprachen.

Die Small-Version erzielt Spitzenergebnisse bei Diarisierung und mehrsprachiger Transkription, unter anderem auf Englisch, Französisch und Spanisch. Sie übertrifft Whisper, Scribe v2 und Gemini 3.5 Transcribe. Die Mini-Variante hat 4B Parameter und ermöglicht schnelle und genaue Transkriptionen zu einem Preis von $0.0035/min.

Beide Modelle unterstützen Kontext-Biasing, bei dem Schlüsselbegriffe und freier Text übergeben werden können, um die Transkription zu beeinflussen und die Treffergenauigkeit bei Fachbegriffen zu verbessern. So können sie in Produktionsumgebungen mit domänenspezifischem Vokabular eingesetzt werden, ohne dass ein Fine-Tuning erforderlich ist.

Voxtral Realtime Transcribe 3 ist ein Echtzeit-Transkriptionsmodell, das für agentische Anwendungsfälle entwickelt wurde. Es erreicht hochwertige Transkriptionen mit einer Latenz von unter 500 ms in über 35 Sprachen, einschließlich Diarisierung und Kontextbiasing.

Die End-of-Turn-Vorhersage wird nativ unterstützt und berücksichtigt sowohl akustische als auch semantische Informationen, um genau vorherzusagen, wann ein Nutzer fertig gesprochen hat. Dies ermöglicht latenzarme Sprachagenten-Anwendungen und minimiert zugleich die Falsch-Unterbrechungsrate, wenn der Nutzer vorzeitig unterbrochen wird.

Es antwortet mit der richtigen Emotion, in der eigenen Stimme Ihres Unternehmens oder Ihres Kunden und im lokalen Dialekt.

Voxtral Mini TTS 3.0, verfügbar im Batch- und Echtzeitbetrieb, erreicht State-of-the-Art-Ausdrucksstärke und Instruktionsbefolgung für über 35 Sprachen und über 50 Dialekte. Mit 13 $ pro 1 Mio. Zeichen ist Voxtral TTS günstiger im Betrieb als vergleichbare Modelle von OpenAI TTS-1, Deepgram, ElevenLabs Flash und Gemini Flash.

Das Sprachmodell interpretiert die semantische Bedeutung des Kontexts implizit besser und erzeugt natürliche Sprache über ein breites Spektrum an Emotionen und Sprachen. Neue und verbesserte Funktionen umfassen Voice Cloning aus über 30 Minuten abgetasteten Audiomaterials, die Befolgung benutzerdefinierter Prompt-Anweisungen (IF), kontextuelles TTS und eine Vokabularbibliothek — alles im Dienste der Sprachzuverlässigkeit im Einsatz. Variablen für Explicit IF sind emotion, pacing, und emphasis.

Prompt

Standard

Nicht-standardmäßiger Phonem-Hinweis: dʒ ɪ f

Prompt

Default

Nicht standardmäßiger Phonem-Hinweis: ʁ e i m s

Prompt

Standard

Nicht standardmäßiger Phonem-Hinweis: tʃ i v ɛ l l o

Prompt

Standard

Nicht standardmäßiger Phonem-Hinweis: z aɪ ɹ ə

Alles natürlich klingende Sprache beruht auf Emotion, die ihre Prosodie, den Rhythmus, das Tempo, die Betonung und die Übergänge bestimmt. Voxtral TTS interpretiert nativ den Textkontext eines Prompts, um Emotion und Sprachstil zu bestimmen, wodurch das Modell von Natur aus besser bei natürlicher Sprache ist, ohne dass zusätzliche Anweisungen oder Voice-Prompts erforderlich sind.

Veranschaulichung des Voxtral-Hill-Climbing bei Ausdrucksstärke, Zahlen und einzigartigen Namen.

Prompt

Voxtral 1

Voxtral 3

Prompt

Voxtral 1

Voxtral 3

Prompt

Voxtral 1

Voxtral 3

Prompt

Voxtral 1

Voxtral 3

Sprachausgabe klingt lokal in 35 Sprachen und über 50 Dialekten.

Voxtral TTS unterstützt über 35 Sprachen und regionale Dialekte. Unsere mehrsprachigen Evals berücksichtigen dialektale Unterschiede in der Aussprache, formelles vs. informelles Register, Rechtschreibung, Ausführlichkeit und Ländereinstellungen (Zeit, Daten, Temperaturen, Adressen, Währungen).

Voxtral 3 mehrsprachige Bibliothek

Voice Presets sind in 18 Sprachen verfügbar: Arabisch (Emirati, Modernes Standardarabisch), Brasilianisch (Portugiesisch), Katalanisch, Chinesisch (Mandarin), Niederländisch, Englisch (Amerikanisch, Britisch), Französisch (Frankreich), Deutsch, Griechisch, Hindi, Italienisch, Koreanisch, Norwegisch, Russisch, Spanisch (Spanien) und Vietnamesisch.

Der Voice-Agent steuert das gesamte Gespräch.

Voxtral 3 führt ein Voice-Agent-SDK ein, das auf LiveKit basiert und Spracheingabe, Argumentation und Sprachausgabe als eine Streaming-Pipeline ausführt. Voxtral Mini Transcribe Realtime 3 hört zu und erkennt, wann der Anrufer fertig gesprochen hat, ein allgemeines Modell—wie Mistral Small—argumentiert und ruft Tools auf, und Voxtral TTS antwortet im Ton des bisherigen Gesprächs. Keine Stufe wartet auf die vorherige, sodass jeder Zug in unter einer Sekunde abgeschlossen ist, und der Agent hört auf zu sprechen, wenn der Anrufer dazwischenredet.

Während eines Anrufs kann der Agent die Identität eines Anrufers überprüfen, eine Rechnung prüfen oder einen Termin buchen, und zwar mithilfe von Function Calling, Websuche und Retrieval über Ihre eigenen Systeme. Er beantwortet und führt Anrufe über SIP durch, läuft in Browsern und Apps über WebRTC und verbindet sich mit der Telefonie-, IVR- und Contact-Center-Software, die Sie bereits verwenden.

Jede Stufe ist ein separates Modell, sodass Sie das LLM, die Stimme oder die Sprache ändern können, ohne den Agenten neu zu schreiben, und den gesamten Stack über Mistrals API in Europa oder auf Ihrer eigenen Infrastruktur betreiben können.

Jetzt loslegen.

Voxtral 3 ist ab heute über die Mistral API verfügbar, gehostet über unsere europäischen, US- und globalen Endpunkte.

Sie können Sprachagenten, Audio-Transkription, Sprachgenerierung und Voice Cloning in den Studio-Playgrounds testen.

Voxtral jetzt ausprobieren  | Mehr erfahren

Um den vollständigen Stack On-Premises oder in einer Private Cloud zu betreiben, sprechen Sie mit unserem Team. 

Voxtral Small Transcribe 3

Neu

Sprachtranskriptionsmodell mit höchster Genauigkeit. State-of-the-Art mehrsprachige Transkription und Diarisierung, mit Unterstützung für über 50 Sprachen und Context Biasing.

Transkription

Audio

$0.004

/min

Voxtral Mini Transcribe 3

Neu

Effizientes Sprachtranskriptionsmodell mit niedriger Latenz. Unterstützt mehrsprachige Transkription, Diarisierung und Context Biasing in über 50 Sprachen.

Transkription

Audio (Batch)

$0.0035

/min

Voxtral Mini Transcribe Realtime 3

Ein Echtzeit-Transkriptionsmodell, das für agentische Anwendungsfälle entwickelt wurde und hochwertige Transkriptionen mit einer Latenz von unter 500 ms in über 40 Sprachen liefert.

Transkription

Audio

$0.008

/min

Voxtral Mini TTS 3

„State-of-the-art-Ausdruckskraft und Befehlsbefolgung in über 35 Sprachen und 50 Dialekten“

Sprache

Eingabe

$13

/1M Zeichen