Mistral AIは発表しました Voxtral 3Mistral Voxtral 3は、音声エージェントSDKと組み合わせた音声モデルファミリーです。3つの文字起こしモデル、1つのテキスト読み上げモデル、そしてLiveKit上に構築されたSDKを同梱しています。聞き取り、推論、ツール呼び出し、発話を一箇所で実現します。4つのモデルすべてが パブリックプレビュー Mistral API について。
要点
- サイズ: Voxtral Mini Transcribe 3 4Bパラメータを搭載しています。Small Transcribe 3のサイズ：非公開。両方のバッチモデルには 32k コンテキスト.
- 動作環境: Mistral API(EU、USおよびグローバルエンドポイント)またはMistralの営業経由での自社インフラ。GPUとVRAMの必要量:非公開。Mistralは、Miniは次のような用途に適していると述べています リソースが制約された環境.
- パフォーマンス: 独立系音声書き起こしランキングでTop 3にランクインし、話者分離と多言語バッチ書き起こしにおいて特に強力です。
- 最優秀: Small Transcribe 3で2.1%のAA-WER、 Artificial Analysisで#3.
- 最悪のケース: 240 ms のリアルタイム:FLEURS 35 で WER 7.4%、Gemini 3.5 Realtime は 4.2%。
Voxtral 3 ファミリーには何が含まれていますか？
Mistralは4つのモデルと1つのSDKをリストアップしています:
- Voxtral Small Transcribe 3: フラッグシップのバッチ文字起こしと話者分離。ドキュメントには翻訳、音声Q&A、要約、関数呼び出しも記載されています。
- Voxtral Mini Transcribe 3: より安価で高速なバッチ処理向けの4Bモデル。
- Voxtral Mini Transcribe Realtime 3: ターン終了検出機能付きの、WebSocket経由のストリーミングASR。
- Voxtral Speech 3: 音声合成。記事内では Voxtral Mini TTS 3 とも呼ばれています。
すべての文字起こしモデルは、話者分離とコンテキストバイアスに対応しています。コンテキストバイアスは、キーワードや自由テキストを用いて認識率を向上させます。バッチ文字起こしは、EUの公式言語24か国語を含む50言語に対応しています。
Voxtral 音声エージェント SDK はどのように動作しますか?
SDKは LiveKitを基盤として構築された 3つのステージを1つのストリーミングパイプラインとして実行します。Realtime Transcribe 3はリスニングし、発話者が話を止めたタイミングを検出します。のような汎用LLMが Mistral Small 4、理由づけを行い、ツールを呼び出します。Voxtral Speech 3 は、これまでの会話のトーンに合わせて返答します。
各ターンは1秒未満で完了します。発信者が割り込むとエージェントは話すのを止めます。SIP経由の電話と、WebRTC経由のブラウザまたはアプリのセッションに対応しています。各ステージが独立したモデルであるため、チームはLLM、音声、言語を差し替えることができます。
Voxtral Transcribe 3の精度はどの程度ですか?
これらの数値はMistralによる自己申告です:
- FLEURS 45(WER、強制/推論言語): Small 4.1% / 4.0%。MAI-Transcribe-2 が 4.1% / 4.0% で同率。Mini 4.6% / 4.5%。Whisper large-v3 は 16.0% / 14.9%。
- 話者分離（cpWER、公開5セット）： Smallは18.4%、Miniは18.6%。Pyannoteは19.0%、MAI-Transcribe-2は20.3%。
- キーフレーズリコール(収益 22): Smallはコンテキストありで94.6%、なしで81.4%。Scribe v2は94.3%と84.0%を記録。
On Artificial Analysis、SmallはAA-WERが2.1%、Miniは2.2%。それより上位なのはFun-Realtime-ASR-preview（1.7%）とMAI-Transcribe-2（2.0%）のみです。差がつくのは速度で、Smallの速度係数は65.8倍であるのに対し、MAI-Transcribe-2は307.5倍です。
リアルタイム文字起こしとTTSを比較するとどうなりますか?
FLEURS 35において、リアルタイムモデルはレイテンシを精度と引き換えにしています。2,400 msでWER 5.7%、480 msで6.4%を記録します。240 msではWERは7.4%に上昇します。Gemini 3.5 Realtime Transcribeは4.2%、MAI-Transcribe-2 Streamingは5.8%を記録しています。GPT Live Transcribe(8.4%)とScribe v2 Realtime(8.7%)は、すべてのVoxtralの設定を下回っています。
Voxtral Speech 3の価格は1M文字あたり13ドルです。Mistralは、この価格がOpenAI TTS-1、Deepgram、ElevenLabs Flash、Gemini Flashを下回るとしています。明示的なコントロールには以下が含まれます。 emotion, pacing および emphasis. この モデルページ 最初の音声出力まで約90 ms、34種類の感情タグをリストしています。Pro Voiceは30分間の音声から話者のスタイルを適応させます。Artificial Analysisはこれを次の位置づけに置いています。 TTSアリーナ両方のトップ12.
Voxtral 3 vs MAI-Transcribe-2、Scribe v2、Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| 開発元 | Mistral AI | Microsoft AI | ElevenLabs | |
| パラメータ数 | 非公開（Mini：4B） | 非公開 | 非公開 | 非公開 |
| 対応言語 | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER、強制 / 推定（Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| 話者分離 cpWER（Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER（Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| AA速度係数（Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| 1,000分あたりの価格（Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| ベンダー表示価格 | $0.004/分 | $0.10/時間、期間限定オファー | $0.22/時間 | トークン課金、Googleの価格設定を参照 |
Voxtral 3のコストはいくらで、どこで実行できますか？
Mistralの 価格表によると:
- Voxtral Mini Transcribe 3(バッチ):$0.0035/分
- Voxtral Small Transcribe 3：$0.004/分
- Voxtral Mini Transcribe Realtime 3: $0.008/分
- Voxtral Speech 3(バッチおよびリアルタイム):1M文字あたり$13
- Voice agent API:Mistral Small 4では1分あたり$0.04、その他の推論モデルでは1分あたり$0.08
このモデルはMistralのヨーロッパ、米国およびグローバルのエンドポイント上で実行されます。 OpenRouter 「EUホストのデータ保持ゼロのエンドポイントで、3つの新モデルすべてをリストしています。」
主なポイント
- Voxtral 3は、3つのASRモデル、1つのTTSモデル、およびLiveKit音声エージェントSDKを束ねたものです。
- Small Transcribe 3 が AA-WER 2.1% を達成し、Artificial Analysis で第3位となりました。
- チャート最高水準のダイアリゼーション:cpWER 18.4%で、PyannoteおよびMAI-Transcribe-2を上回る成績。
- バッチ文字起こしは1分あたり0.0035〜0.004ドル、TTSは1M文字あたり13ドルです。
- リアルタイム精度はGemini 3.5 Realtimeに及ばず、オープンウェイトの公開も発表されませんでした。
こちらをご覧ください: Voxtral 3 発表、この 音声ドキュメント そしてその モデルページ。このプロジェクトの研究者に全ての功績があります。また、ぜひ私たちをフォローしてください: Twitter そして、私たちの 150k+ ML SubReddit さらに登録するには 当社のニュースレター. 待ってください!Telegram を使っていますか? Telegramでもご参加いただけるようになりました。
この投稿 Mistral AI、Voxtral 3をリリース：音声認識、音声合成、そして音声エージェントSDK 最初に掲載されたのは MarkTechPost.