Mistral AI가 방금 공개했습니다 Voxtral 3. Mistral Voxtral 3는 음성 에이전트 SDK와 함께 제공되는 음성 모델 계열입니다. 3개의 전사(transcription) 모델, 1개의 텍스트-음성 변환 모델, 그리고 LiveKit 기반 SDK가 포함되어 있습니다. 듣기, 추론, 도구 호출, 말하기가 한 곳에서 이루어집니다. 4개 모델 모두 다음 위치에 있습니다. 공개 미리 보기 Mistral API에서.
TL;DR
- 크기: Voxtral Mini Transcribe 3 는 4B 파라미터를 가지고 있습니다. Small Transcribe 3의 크기: 공개되지 않았습니다. 두 배치 모델 모두 32k 컨텍스트.
- 실행 환경: Mistral API(EU, US 및 글로벌 엔드포인트) 또는 Mistral 영업팀을 통한 자체 인프라. GPU 및 VRAM 요구 사항: 공개되지 않았습니다. Mistral은 Mini가 리소스가 제한된 환경.
- 성능: 독립 음성-텍스트 변환 순위에서 톱 3, 화자 분리 및 다국어 배치 전사에서 가장 강력합니다.
- 최고: Small Transcribe 3의 경우 2.1% AA-WER, Artificial Analysis에서 3위.
- 최악: Realtime 240 ms: FLEURS 35에서 7.4% WER, Gemini 3.5 Realtime의 4.2%와 비교.
Voxtral 3 계열에는 무엇이 있나요?
Mistral은 4개 모델과 1개 SDK를 소개합니다:
- Voxtral Small Transcribe 3: 플래그십 배치 전사 및 화자 분리. 문서에는 번역, 음성 Q&A, 요약 및 함수 호출도 나열되어 있습니다.
- Voxtral Mini Transcribe 3: 더 저렴하고 빠른 배치 작업을 위한 4B 모델입니다.
- Voxtral Mini Transcribe Realtime 3: 턴 종료 감지 기능이 있는 WebSocket 기반 스트리밍 ASR입니다.
- Voxtral Speech 3: text-to-speech로, 게시글에서는 Voxtral Mini TTS 3라고도 불립니다.
모든 전사 모델은 화자 구분(diarization)과 컨텍스트 바이어싱(context biasing)을 지원합니다. 컨텍스트 바이어싱은 핵심 용어나 자유 텍스트를 활용하여 인식률(recall)을 높입니다. 배치 전사는 24개의 공식 EU 언어를 포함해 50개 언어를 지원합니다.
Voxtral 음성 에이전트 SDK는 어떻게 작동하나요?
SDK는 다음과 같습니다 LiveKit 기반으로 구축됨 3단계를 1개의 스트리밍 파이프라인으로 실행합니다. Realtime Transcribe 3는 상대방이 말을 멈추는 시점을 듣고 감지합니다. 다음과 같은 범용 LLM, 예를 들어 Mistral Small 4, 이유를 파악하고 도구를 호출합니다. Voxtral Speech 3는 지금까지의 대화 톤에 맞춰 답변합니다.
각 턴은 1초 이내에 완료됩니다. 통화 상대가 끼어들면 에이전트는 말을 멈춥니다. 이 에이전트는 SIP를 통한 전화 통화와 WebRTC를 통한 브라우저 또는 앱 세션을 처리합니다. 각 단계가 별도의 모델이기 때문에 팀은 LLM, 음성 또는 언어를 교체할 수 있습니다.
Voxtral Transcribe 3은 얼마나 정확한가요?
이 수치들은 Mistral이 직접 보고한 것입니다:
- FLEURS 45 (WER, 강제 / 추론된 언어): Small 4.1% / 4.0%. MAI-Transcribe-2는 4.1% / 4.0%로 동률입니다. Mini 4.6% / 4.5%. Whisper large-v3 16.0% / 14.9%.
- Diarization (cpWER, 공개 5개 세트): Small은 18.4%, Mini는 18.6%입니다. Pyannote는 19.0%, MAI-Transcribe-2는 20.3%를 기록했습니다.
- 핵심구 히트율(Keyphrase recall) (Earnings 22): Small 모델은 컨텍스트가 있을 때 94.6%, 없을 때 81.4%를 기록했습니다. Scribe v2는 94.3%와 84.0%를 기록합니다.
On Artificial Analysis, Small은 2.1% AA-WER을 기록하고 Mini는 2.2%를 기록합니다. 그보다 높은 순위는 Fun-Realtime-ASR-preview(1.7%)와 MAI-Transcribe-2(2.0%)뿐입니다. 격차는 속도에서 드러납니다. Small의 속도 계수는 65.8x인 반면 MAI-Transcribe-2는 307.5x입니다.
실시간 전사(transcription)와 TTS는 어떻게 비교됩니까?
FLEURS 35에서 realtime 모델은 정확도를 위해 지연 시간을 희생합니다. 2,400 ms에서 WER 5.7%, 480 ms에서 6.4%를 기록합니다. 240 ms에서는 WER이 7.4%로 상승합니다. Gemini 3.5 Realtime Transcribe는 4.2%, MAI-Transcribe-2 Streaming은 5.8%를 기록합니다. GPT Live Transcribe(8.4%)와 Scribe v2 Realtime(8.7%)은 모든 Voxtral 설정보다 뒤처집니다.
Voxtral Speech 3은 1M 글자당 $13입니다. Mistral은 이 가격이 OpenAI TTS-1, Deepgram, ElevenLabs Flash 및 Gemini Flash보다 낮다고 말합니다. 명시적 제어 기능에는 다음이 포함됩니다 emotion, pacing 그리고 emphasis. 모델 페이지 첫 오디오까지 약 90 ms의 시간과 34개의 감정 태그를 나열합니다. Pro Voice는 30분 분량의 오디오에서 화자의 스타일을 학습합니다. Artificial Analysis는 이를 다음과 같이 평가합니다. 두 TTS 아레나 모두에서 상위 12위.
Voxtral 3 vs MAI-Transcribe-2, Scribe v2 및 Gemini 3.5 Transcribe
| Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe | |
|---|---|---|---|---|
| 개발사 | Mistral AI | Microsoft AI | ElevenLabs | |
| 파라미터 | 공개되지 않음 (Mini: 4B) | 공개되지 않음 | 공개되지 않음 | 공개되지 않음 |
| 언어 | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER, 강제 / 추론 (Mistral) | 4.1% / 4.0% | 4.1% / 4.0% | 4.9% / 4.9% | 6.1% / 4.5% |
| Diarization cpWER (Mistral) | 18.4% | 20.3% | 23.0% | 38.4% |
| AA-WER (Artificial Analysis) | 2.1% | 2.0% | 2.2% | 2.6% |
| AA 속도 배수 (Artificial Analysis) | 65.8x | 307.5x | 65.4x | 89.5x |
| 1,000분당 가격 (Artificial Analysis) | $4.00 | $1.67 | $3.67 | $5.00 |
| 공급사 표시 가격 | $0.004/min | 시간당 $0.10, 한정 기간 제공 | 시간당 $0.22 | 토큰 기반 과금, Google 가격 참조 |
Voxtral 3는 얼마에 이용할 수 있으며, 어디서 실행할 수 있나요?
Mistral의 가격표에 따르면:
- Voxtral Mini Transcribe 3 (배치): 분당 $0.0035
- Voxtral Small Transcribe 3: 분당 $0.004
- Voxtral Mini Transcribe Realtime 3: 분당 $0.008
- Voxtral Speech 3 (배치 및 실시간): 백만(1M) 글자당 $13
- Voice agent API: Mistral Small 4 사용 시 분당 $0.04, 기타 추론 모델 사용 시 분당 $0.08
이 모델들은 Mistral의 유럽, 미국 및 글로벌 엔드포인트에서 실행됩니다. OpenRouter 또한 EU 호스팅, 데이터 비보관(zero-data-retention) 엔드포인트로 3개의 신규 모델을 모두 목록에 올리고 있습니다.
핵심 요약
- Voxtral 3는 3개의 ASR 모델, 1개의 TTS 모델 및 LiveKit 음성 에이전트 SDK를 묶어 제공합니다.
- Small Transcribe 3는 2.1% AA-WER을 기록하며 Artificial Analysis에서 3위를 차지했습니다.
- 차트 최고 수준의 화자 분리: 18.4% cpWER로 Pyannote 및 MAI-Transcribe-2를 앞섰습니다.
- 배치 전사 비용은 분당 $0.0035에서 $0.004이며, TTS 비용은 백만(1M) 글자당 $13입니다.
- 실시간 정확도는 Gemini 3.5 Realtime에 뒤처지며, 오픈 웨이트 발표는 없었습니다.
다음을 확인해 보세요: Voxtral 3 발표, 오디오 문서 그리고 모델 페이지. 모든 크레딧은 이 프로젝트의 연구자에게 돌아갑니다. 또한 저희를 Twitter 에서 팔로우하고 저희의 150k+ML SubReddit 에 가입하며 뉴스레터를 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희를 만나실 수 있습니다.
이 글 Mistral AI Releases Voxtral 3: Speech-to-Text, TTS and a Voice Agent SDK 은 다음에서 처음 게시되었습니다: MarkTechPost.