Mistral AI 刚刚发布了 Voxtral 3. Mistral Voxtral 3 是一个语音模型家族，并配套一个语音代理 SDK。它提供 3 个转录模型、1 个文本转语音模型，以及一个基于 LiveKit 构建的 SDK。在一个地方完成聆听、推理、工具调用和说话。全部 4 个模型均已收录于 公开预览 在 Mistral API 上。
简要概述
- 尺寸: Voxtral Mini Transcribe 3 拥有4B参数。Small Transcribe 3 的尺寸：未披露。两款批量模型均标称 32k 上下文.
- 运行环境： Mistral API（欧盟、美国和全球端点）或通过 Mistral 销售部门在自己的基础设施上运行。GPU 和 VRAM 需求：未披露。Mistral 表示 Mini 适合 资源受限的环境.
- 性能： 在独立语音转文本排行榜中位列前3，在说话人分离和多语言批量转录方面表现最强。
- 最佳： Small Transcribe 3 的 AA-WER 为2.1%， 在 Artificial Analysis 上排名第3.
- 最差： Realtime 在240毫秒时，FLEURS 35 上的 WER 为7.4%，而 Gemini 3.5 Realtime 为4.2%。
Voxtral 3 系列包含哪些产品？
Mistral 列出了4个模型和1个 SDK：
- Voxtral Small Transcribe 3: 旗舰级批量转录和说话人分离。文档中还列出了翻译、语音问答、摘要和函数调用功能。
- Voxtral Mini Transcribe 3: 一个4B模型，用于更便宜、更快速的批量任务。
- Voxtral Mini Transcribe Realtime 3: 通过 WebSocket 提供流式 ASR，并带有话轮结束检测。
- Voxtral Speech 3: 文本转语音,在文中也称为 Voxtral Mini TTS 3。
所有转录模型都支持说话人分离和上下文偏置。上下文偏置通过关键词或自由文本提升召回率。批量转录支持 50 种语言,包括 24 种欧盟官方语言。
Voxtral 语音代理 SDK 是如何工作的?
该 SDK 基于 LiveKit 构建 并以 1 条流式流水线运行 3 个阶段。Realtime Transcribe 3 监听并检测来电者何时停止说话。通用 LLM,例如 Mistral Small 4,进行推理并调用工具。Voxtral Speech 3 以符合此前对话的语气进行回复。
每一轮对话在 1 秒内完成。当来电者插话时,代理会停止说话。它通过 SIP 处理电话通话,并通过 WebRTC 处理浏览器或应用会话。由于每个阶段都是独立的模型,团队可以更换 LLM、语音或语言。
Voxtral Transcribe 3 的准确度如何?
这些数字由 Mistral 自行报告:
- FLEURS 45(WER,强制/推断语言): Small 4.1% / 4.0%。MAI-Transcribe-2 以 4.1% / 4.0% 持平。Mini 4.6% / 4.5%。Whisper large-v3 16.0% / 14.9%。
- 说话人分离(cpWER,5 个公开数据集): Small 18.4%,Mini 18.6%。Pyannote 得分为 19.0%,MAI-Transcribe-2 为 20.3%。
- 关键词召回率(Earnings 22): Small 带上下文为 94.6%,不带上下文为 81.4%。Scribe v2 为 94.3% 和 84.0%。
在 Artificial Analysis上,Small 的 AA-WER 得分为 2.1%,Mini 为 2.2%。只有 Fun-Realtime-ASR-preview(1.7%)和 MAI-Transcribe-2(2.0%)排名更高。速度是差距所在:Small 的速度因子为 65.8x,而 MAI-Transcribe-2 为 307.5x。
实时转录与 TTS 相比如何?
在 FLEURS 35 上,实时模型以准确度换取延迟。它在 2,400 ms 时 WER 得分为 5.7%,在 480 ms 时为 6.4%。在 240 ms 时,WER 升至 7.4%。Gemini 3.5 Realtime Transcribe 得分为 4.2%,MAI-Transcribe-2 Streaming 为 5.8%。GPT Live Transcribe(8.4%)和 Scribe v2 Realtime(8.7%)落后于所有 Voxtral 设置。
Voxtral Speech 3 的价格为每 1M 字符 13 美元。Mistral 表示这低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的价格。显式控制涵盖 emotion, pacing 和 emphasis。该 模型页面 列出了约 90 ms 的首音频延迟和 34 个情感标签。Pro Voice 可从 30 分钟的音频中学习说话者的风格。Artificial Analysis 将其排在两个 TTS 竞技场的 前 12 名.
Voxtral 3 对比 MAI-Transcribe-2、Scribe v2 和 Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| 开发者 | Mistral AI | Microsoft AI | ElevenLabs | |
| 参数量 | 未公开(Mini:4B) | 未公开 | 未公开 | 未公开 |
| 语言数 | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER,forced / inferred(Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| 说话人分离 cpWER(Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER(Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| AA 速度系数(Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| 每 1,000 分钟价格(Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| 厂商标价 | $0.004/分钟 | 0.10美元/小时,限时优惠 | 0.22美元/小时 | 按Token计费,参见Google定价 |
Voxtral 3的价格是多少?可以在哪里运行?
根据Mistral的 价格表:
- Voxtral Mini Transcribe 3（批处理）：$0.0035/分钟
- Voxtral Small Transcribe 3：$0.004/分钟
- Voxtral Mini Transcribe Realtime 3：$0.008/分钟
- Voxtral Speech 3（批处理和实时）：每1M字符13美元
- 语音代理API：使用Mistral Small 4为$0.04/分钟，使用任何其他推理模型为$0.08/分钟
这些模型运行在Mistral的欧洲、美国和全球端点上。 OpenRouter 也列出了全部 3 个新模型，提供欧盟托管、零数据保留的端点。
要点总结
- Voxtral 3 包含 3 个 ASR 模型、1 个 TTS 模型和一个 LiveKit 语音代理 SDK。
- Small Transcribe 3 达到 2.1% AA-WER，在 Artificial Analysis 上排名第 3。
- 图表中最佳的说话人分离：18.4% cpWER，领先于 Pyannote 和 MAI-Transcribe-2。
- 批处理转录成本为每分钟 $0.0035 至 $0.004；TTS 成本为每 1M 字符 13 美元。
- 实时准确率落后于 Gemini 3.5 Realtime，且没有宣布开放权重。
请查看 Voxtral 3 公告、 音频文档 以及 模型页面。所有功劳归于该项目的 respective 研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等！你在用 Telegram 吗？ 现在你也可以在 Telegram 上加入我们了。
本文 Mistral AI 发布 Voxtral 3：语音转文本、TTS 和语音代理 SDK 首发于 MarkTechPost.