思考
摘要
Voxtral 3 推出了尖端的语音代理 SDK 和最先进的语音模型，专为跨 50 多种语言的实时多轮对话而设计。它结合了精准的转录、具有情感适应性的自然语音合成，以及深度工具集成，实现无缝的工作流自动化。该方案可通过 Mistral 欧盟托管的 API 或自行部署获得，在确保数据主权的同时，为联络中心、虚拟助手和免提副驾驶提供低延迟、类人的交互体验。
语音转录和语音生成已经取得了长足的进步，但构建能够聆听、推理、交互并处理复杂工作流的端到端语音代理仍然十分困难。
一个可靠的语言代理需要非常出色地（并且同时）做好四件事：
准确聆听 跨语言、口音、说话者和打断，
原因 深深地 关于用户在特定语境中的含义，
自然表达 带着情感与表现力，并且
采取行动 在多个步骤中跨越互联的系统。
让这四者在实时环境中可靠协同工作仍然是一个挑战。
为解决这一问题，我们推出 Voxtral 3：一系列新的最先进的 语音转文字 和 文本转语音 模型，以及一个语音代理 SDK，它将听、思考、工具调用和说整合到单一实时流式传输管道中。
Voxtral 3 旨在打造自然的对话体验，涵盖客服中心坐席、服务台、虚拟助手以及免手操作副驾驶等场景。凭借对数十种语言的支持、富有表现力的语音、复杂的推理能力以及与您自己的工具和数据的深度集成，用 Voxtral 构建的智能体能够解读细腻的意图，推理复杂的请求，并跨关联系统执行多步操作。
与其他 Mistral 模型一样，Voxtral 3 系列专为主权部署而设计。它现已通过 Mistral 的欧盟托管 API 提供，或可在您自己的基础设施上自行部署，使组织能够控制音频在何处处理、数据如何处理以及是否保留对话。
亮点
支持 50 多种语言的精准转录。该语音转文本模型 Voxtral Small Transcribe 3在多语言转录方面处于业界领先水平，能够识别谁在说话（说话人分离），并利用关键短语提升准确性（上下文偏置）。它还能检测对方是否已说完，让坐席可以毫不延迟地作出回应（轮次结束检测）。
能随对话自适应的自然语音。该文本转语音模型 Voxtral Mini TTS 3，引入了可根据对话语境调整情感、语速和重音的新语音，支持 35 种以上语言和 50 种以上方言。
在您的一声（口头）指令下实现类人智能。全新的语音代理 SDK 将聆听、推理、工具调用和说话融合为实时体验。代理可以在电话或网页的实时对话中检索信息、与业务系统交互并完成任务。
Pro Voice，实现精准独特的声音适配。对于基础声音克隆无法满足的专业用例，Voxtral 的 Pro Voice 适配功能仅需 30 分钟音频，即可跨语言还原说话者独特的个性、情感范围和说话风格。
您的语音 AI，部署在您的基础设施上。使用 Mistral 的欧盟托管 API，或在您自己的基础设施上部署 Voxtral 3。将敏感对话保留在您的环境中，并自主控制是否保留任何音频。
它能听懂 50 种以上语言，并具备最先进的准确率。
Voxtral Transcribe 3 在转录、说话人分离（谁在何时说话）和上下文偏置能力方面都是一个重要里程碑。支持的语言列表扩展至 50 种，包括 24 种欧盟官方语言以及许多低资源的亚洲和印度语言。
Small 版本在说话人分离和多语言转录方面取得了最先进的结果，包括英语、法语和西班牙语。它的表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。 Mini 变体 为 4B 参数，能以每分钟 0.0035 美元的价格实现快速准确的转录。
两款模型均支持上下文偏置，可提供关键术语和自由格式文本来偏置转录结果，并提高对技术术语的召回率。这使它们无需微调即可在生产环境中使用领域特定词汇。
FLEURS 45 强制与推断对比
词错误率 —— 越低越好
强制
推断
在 FLEURS 基准中全部七个模型均支持的 45 种语言的交集上计算的宏平均 WER。除日语、韩语、泰语和中文使用 CER 外，其他语言均使用 WER。越低越好。
Forced = 指定了语言；Inferred = 自动检测语言。语言：AR、BN、BG、CA、ZH、CS、DA、NL、EN、ET、FI、FR、DE、EL、GU、HI、HU、IS、ID、IT、JA、KN、KO、LV、LT、MK、MS、ML、MR、NO、FA、PL、PT、RO、RU、SK、SL、ES、SV、FIL、TE、TH、TR、UK、VI
说话人分离
拼接最小置换WER——越低越好
公开说话人分离基准上的宏平均拼接最小置换词错率（cpWER）：AMI-IHM、AMI-SDM、Switchboard、Switchboard CallHome、AISHELL-4。为最大化API基线的兼容性，我们使用AMI和AISHELL的30分钟版本。越低越好。
说话人分离基准，拼接最小置换词错率（cpWER）。
关键词召回率
有上下文提示与无上下文提示对比——越高越好
无上下文
有上下文
Voxtral Small Transcribe 3以品牌色高亮显示。Earnings 22基准上的关键词召回率。上下文偏置包含关键术语以及随机采样的干扰项，数量从0到100不等。柱状图为叠加的绝对值——外柱为有上下文时的召回率，内柱为无上下文时的召回率；可见的色带即为上下文提示带来的提升。越高越好。
关键词召回率基准。上下文 = 提供给模型的领域特定词汇和说话人姓名。
Artificial Analysis基准
词错率——越低越好
Artificial Analysis WER指数，为VoxPopuli、Earnings-22和AgentTalk的加权平均值。
越低越好。
Voxtral Realtime Transcribe 3 是一款为代理型（agentic）用例构建的实时转写模型。它能以低于500毫秒的延迟在超过35种语言中实现高质量转写，包括说话人分离和上下文偏置。
FLEURS 35
实时转写词错率——越低越好
FLEURS基准中35种语言的宏平均WER。除日语、韩语和中文使用CER外，其余语言均使用WER。越低越好。*Voxtral Mini Transcribe 3是离线基线，其余模型均为实时模型。
语言：AR、BN、BG、CA、CS、NL、EN、ET、FI、FR、DE、EL、GU、HI、ID、IT、JA、KN、KO、LV、MK、MS、ML、MR、NO、FA、PL、PT、RO、RU、SK、ES、FIL、TE、TR
原生支持轮次结束预测，结合声学和语义信息来准确预测用户何时说完。这使低延迟语音代理应用成为可能，同时将用户被过早打断时的误切率降至最低。
它会以恰当的情感、用您或您客户的品牌自己的声音和当地方言作出回答。
Voxtral Mini TTS 3.0,提供批处理和实时两种模式，在35种以上语言和50种以上方言中实现了最先进的表现力和指令遵循能力。Voxtral TTS的价格为每1M字符13美元，运行成本低于OpenAI TTS-1、Deepgram、ElevenLabs Flash和Gemini Flash的同类模型。
语音模型能更好地隐式理解上下文的语义含义，从而在多样的情感和语言范围内生成自然的语音。新增和改进的功能包括：基于30分钟以上采样音频的声音克隆、自定义提示指令遵循（IF）、上下文TTS以及词汇库，所有这些功能都服务于部署中语音可靠性的目标。显式IF的变量包括 emotion, pacing，以及 emphasis.
提示
让我们终结这场争论吧：就是GIF。默认
非标准音素提示：dʒ ɪ f
提示
等等……这不可能。这幅画来自兰斯？那么……这就是我祖母找了五十年的那幅画！默认
非标准音素提示: ʁ e i m s
提示词
我们的新助手名叫 Quivello。默认
非标准音素提示：tʃ i v ɛ l l o
提示词
Hallo! Ich bin Xyra, deine persönliche Assistentin.默认
非标准音素提示：z aɪ ɹ ə
所有听起来自然的语音都依赖情感，情感决定了语音的韵律、节奏、速度、重音和过渡。Voxtral TTS 原生地解析提示词的文本上下文来判断情感和嗓音风格，因此该模型天然更擅长自然语音，无需额外的指令或嗓音提示。
Voice Code Bench：每一美元的质量
由 BeSimple AI 制作的 Voice Code Bench 专注于与数字和独特名称相关的企业客服失败场景。
其他 TTS
Mistral
越向右上方越好。
Voice Code Bench（BeSimple AI）：300 个英语提示词，每个系统 2 个嗓音（女声和男声）；评判模型为 gemini-3.8-flash；价格来自供应商定价页面；生成于 2026 年 10 月 20 日。
发音控制：每一美元的质量
目标词按其音素被正确发音的片段占比
Mistral
其他 TTS
内部评测。越向右上方越好。没有文档记载发音控制的系统列在数据中，但未绘制在图上。
300 个英语句子，每句包含一个罕见或虚构的词（150 个简单，150 个困难），每个系统 2 个嗓音；评判模型 gemini-3.8-flash 结合该词的目标 IPA 听取片段；价格来自供应商定价页面；生成于 2026 年 10 月 20 日。
多语言：每一美元的质量
11 种语言的评判模型平均分，每种语言和系统 1 个母语嗓音
其他 TTS
Mistral
内部评测。越向右上方越好。支持语言少于 11 种的系统列在数据中，但未绘制在图上。
377 个为发布而选定的提示词，11 种语言，各语言评判模型平均分的未加权平均值，1 到 5 分制；评判模型为 gemini-3.8-flash；价格来自供应商定价页面；生成于 2026 年 10 月 20 日。
富有表现力的英语：每一美元的质量
one_eval 上的评判模型平均分，237 个为发布而选定的提示词
其他 TTS
Mistral
内部评测。越向右上方越好。
Expressive English (one_eval)：选取 237 条提示词发布，每个系统 2 种声音（Voxtral TTS：Sarah 和 James），1 到 5 分制；评审为 gemini-3.8-flash；价格来自供应商定价页面；生成于 2026-10-20。
展示 Voxtral 在表现力、数字和独特姓名方面的爬山式改进。
提示词
感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。我可以确认一下您的电子邮箱地址吗？我这里有 elena.vance82@yahoo.com，对吗？Voxtral 1
Voxtral 3
提示词
天哪，真快，我已经为您的即将到来的行程找到了航班。10月10日 21:00 出发、10月25日 22:00 返回的阿联酋航空航班，价格 £1881 怎么样？您说一声，我现在就为您预订一个靠窗座位。Voxtral 1
Voxtral 3
提示词
哇，真不敢相信你怀孕了！太令人激动了，恭喜你 Corina，我太为你高兴了！Voxtral 1
Voxtral 3
提示词
你是什么意思，我的护照这周办不完？——我已经跟你说过好几次我需要去巴黎出差。这太荒唐了。我都无法形容这有多让人恼火。Voxtral 1
Voxtral 3
语音在 35 种语言和 50 多种方言中听起来都很本地化。
Voxtral TTS 支持 35 种以上的 35种语言 及地方方言。我们的多语言评测遵循方言在发音、正式与非正式语域、拼写、冗长度以及地区惯例（时间、日期、温度、地址、货币）方面的差异。
Voxtral 3 多语言库
语音预设提供 18 种语言：阿拉伯语（阿联酋、现代标准阿拉伯语）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。
语音智能体掌控整个对话。
Voxtral 3 推出了基于 LiveKit 构建的语音智能体 SDK，将语音输入、推理和语音输出作为一个流式流水线运行。Voxtral Mini Transcribe Realtime 3 监听并检测来电者何时说完，一个通用模型——比如 Mistral Small——进行推理并调用工具，然后 Voxtral TTS 以迄今为止对话的语气回应。没有任何阶段需要等待前一阶段，因此每一轮都能在不到一秒内完成，并且当来电者插话时智能体会停止说话。
在通话过程中，智能体可以通过函数调用、网络搜索以及对接您自己的系统进行检索，来验证来电者身份、查询账单或预约。它通过 SIP 接听和拨出电话，通过 WebRTC 在浏览器和应用中运行，并可连接您已在使用的电话、IVR 和联络中心软件。
每个阶段都是独立的模型，因此您可以在不重写智能体的情况下更换 LLM、声音或语言，并可以在 Mistral 位于欧洲的 API 上或在您自己的基础设施上运行整个技术栈。
开始使用。
Voxtral 3 今日已可通过 Mistral API 使用，托管于我们的欧洲、美国和全球端点。
你可以在 Studio 演练场中测试语音代理、音频转录、语音生成和语音克隆。
模型 | 价格 |
|---|---|
Voxtral Mini Transcribe 3（批量） | 0.0035美元/分钟 |
Voxtral Mini Transcribe Realtime 3 | 0.008美元/分钟 |
Voxtral Small Transcribe 3 | 0.0040美元/分钟 |
Voxtral Mini TTS 3 | 13美元/1M字符 |
搭载 Mistral Small 4 进行推理的语音代理 API | 0.04美元/分钟 |
搭载更大模型的语音代理 API | 0.08美元/分钟 |
要在本地或私有云中运行完整技术栈， 请联系我们的团队.
Voxtral Small Transcribe 3
新
准确度最高的语音转录模型。具备最先进的多语言转录和说话人分离能力，支持超过50种语言以及上下文偏置。
转录
音频
$0.004
/分钟
Voxtral Mini Transcribe 3
新
高效、低延迟的语音转录模型。支持超过50种语言的多语言转录、说话人分离和上下文偏置。
转录
音频（批量）
$0.0035
/分钟
Voxtral Mini Transcribe Realtime 3
一款专为智能体用例打造的实时转录模型，可在40多种语言上以低于500毫秒的延迟提供高质量转录。
转录
音频
$0.008
/分钟
Voxtral Mini TTS 3
在35多种语言和50多种方言中实现最先进的表现力与指令遵循能力
语音
输入
$13
/1M字符