Voxtral 3

생각

요약

Voxtral 3는 50개 이상의 언어로 실시간 다단계 대화를 지원하도록 설계된 최첨단 음성 에이전트 SDK와 최고 수준의 음성 모델을 선보입니다. 정확한 전사, 감정 적응력을 갖춘 자연스러운 음성 합성, 원활한 워크플로 자동화를 위한 깊은 도구 통합을 결합했습니다. Mistral의 EU 호스팅 API 또는 자체 배포를 통해 이용할 수 있으며, 데이터 주권을 보장하는 동시에 콜센터, 가상 비서, 핸즈프리 코파일럿을 위한 저지연, 인간과 유사한 상호작용을 제공합니다.

음성 전사 및 음성 생성 기술은 많은 발전을 이루었지만, 듣고, 추론하고, 상호작용하며 복잡한 워크플로를 처리할 수 있는 엔드투엔드 음성 에이전트를 구축하는 것은 여전히 어렵습니다.

신뢰할 수 있는 음성 에이전트는 네 가지를 매우 잘(그리고 동시에) 수행해야 합니다:

1. 정확하게 듣기 언어, 억양, 화자, 그리고 대화 방해에 걸쳐,

2. 이유 깊이 사용자가 특정 맥락에서 무엇을 의미하는지에 관하여,

3. 자연스럽게 말하세요 감정과 표현을 담아, 그리고 

4. 조치 취하기 연결된 시스템을 통해 여러 단계에 걸쳐 진행됩니다. 

네 가지 모두가 실시간에 안정적으로 함께 작동하도록 만드는 것은 여전히 어려운 과제로 남아 있습니다.

이를 해결하기 위해 우리는 Voxtral 3를 소개합니다: 최신 수준(state-of-the-art)의 새로운 모델 계열입니다. 음성-텍스트 변환 그리고 텍스트 음성 변환 모델과 함께, 듣기, 생각하기, 도구 호출, 말하기를 하나의 실시간 스트리밍 파이프라인으로 통합하는 음성 에이전트 SDK도 제공됩니다.

Voxtral 3는 콜센터 상담원과 서비스 데스크부터 가상 비서 및 핸즈프리 코파일럿에 이르기까지 자연스러운 대화형 경험을 만들기 위해 설계되었습니다. 수십 개 언어 지원, 표현력 있는 음성, 복잡한 추론 능력, 그리고 자체 도구 및 데이터와의 깊은 통합을 통해 Voxtral로 구축된 에이전트는 미묘한 의도를 해석하고, 복잡한 요청을 추론하며, 연결된 시스템 전반에서 다단계 작업을 실행할 수 있습니다.

다른 Mistral 모델과 마찬가지로 Voxtral 3 계열은 주권 배포(sovereign deployment)를 위해 설계되었습니다. 오늘부터 Mistral의 EU 호스팅 API를 통해 제공되거나 자체 인프라에 직접 배포할 수 있어, 조직은 오디오가 처리되는 위치, 데이터가 처리되는 방식, 대화가 보존되는지 여부를 통제할 수 있습니다.

주요 기능

1. 50개 이상 언어에서 정확한 음성 인식. 음성-텍스트 변환 모델인 Voxtral Small Transcribe 3는 다국어 전사 분야에서 최고 수준의 성능을 자라며, 누가 무엇을 말했는지 식별하고(화자 분리, diarization), 핵심 구문을 활용하여 정확도를 높입니다(context-biasing). 또한 누군가 말을 마쳤을 때를 감지하여 상담원이 지연 없이 응답할 수 있도록 합니다(end-of-turn detection).

2. 대화에 맞춰 적응하는 자연스러운 음성. 텍스트-음성 변환 모델인 Voxtral Mini TTS 3는 대화 맥락에 따라 감정, 속도, 강조를 조절하는 새로운 음성을 선보이며, 35개 이상의 언어와 50개 이상의 방언을 지원합니다.

3. 당신의 (음성) 명령에서 구현되는 사람 같은 지능. 새로운 음성 에이전트 SDK는 듣기, 추론, 도구 호출, 말하기를 하나의 실시간 경험으로 결합합니다. 에이전트는 전화 또는 웹을 통한 실시간 대화 중에 정보를 검색하고, 비즈니스 시스템과 상호작용하며, 작업을 완료할 수 있습니다.

4. 정확한 음성 적응을 위한 Pro Voice. 기본적인 음성 복제만으로는 충분하지 않은 전문적인 사용 사례를 위해 Voxtral의 Pro Voice 적응 기술은 단 30분의 오디오만으로 화자의 독특한 특성, 감정 표현 범위, 말하기 스타일을 여러 언어에 걸쳐 재현할 수 있습니다. 

5. 당신의 인프라 위에서 작동하는 당신의 음성 AI. Mistral의 EU 호스팅 API를 사용하거나 Voxtral 3를 자체 인프라에 배포하세요. 민감한 대화를 사용자 환경 내에 유지하고 오디오 보존 여부를 직접 제어할 수 있습니다. 

Voxtral 지금 사용해 보기  | 자세히 알아보기

50개 이상의 언어를 최고 수준의 정확도로 인식합니다.

Voxtral Transcribe 3 는 전사, 화자 분리(누가 언제 말했는지), 컨텍스트 바이어싱 기능 전반에서 중요한 이정표를 나타냅니다. 지원 언어 목록은 EU 공식 언어 24개와 많은 저자원 아시아 및 인도계 언어를 포함해 50개로 확장되었습니다.

Small 버전은 영어, 프랑스어, 스페인어를 포함한 화자 분리 및 다국어 전사에서 최고 수준의 결과를 달성합니다. Whisper, Scribe v2, Gemini 3.5 Transcribe를 능가합니다. Mini 변형 은 4B 매개변수로, 분당 $0.0035의 가격으로 빠르고 정확한 전사를 가능하게 합니다.

두 모델 모두 컨텍스트 바이어싱을 지원하며, 핵심 용어와 자유 형식의 텍스트를 입력하여 전사에 편향을 주고 기술 용어의 인식률을 높일 수 있습니다. 이를 통해 파인튜닝 없이도 도메인 특화 어휘를 사용하는 프로덕션 환경에서 활용할 수 있습니다.

Voxtral Realtime Transcribe 3 는 에이전트 사용 사례를 위해 구축된 실시간 전사 모델입니다. 화자 분리 및 컨텍스트 바이어싱을 포함하여 35개 이상의 언어에서 500ms 미만의 지연 시간으로 고품질 전사를 달성합니다.

턴 종료 예측은 기본적으로 지원되며, 음향 정보와 의미 정보를 모두 반영하여 사용자가 발화를 마쳤는지를 정확하게 예측합니다. 이를 통해 지연 시간이 짧은 음성 에이전트 애플리케이션을 구현하면서, 사용자가 발화 도중 끊기는 잘못된 차단률을 최소화합니다.

사용자 또는 고객 브랜드 고유의 목소리와 현지 방언으로, 적절한 감정으로 응답합니다.

Voxtral Mini TTS 3.0, 배치 및 실시간 방식으로 모두 제공되며, 35개 이상의 언어와 50개 이상의 방언에 대해 최고 수준의 표현력과 지시 사항 수행 능력을 달성합니다. 1M 자당 $13의 비용으로, Voxtral TTS는 OpenAI TTS-1, Deepgram, ElevenLabs Flash 및 Gemini Flash의 유사 모델보다 적은 운영 비용이 듭니다.

음성 모델은 컨텍스트의 의미적 의미를 더 잘 내재적으로 해석하여, 다양한 감정과 언어에 걸쳐 자연스러운 음성을 생성합니다. 새롭게 개선된 기능으로는 30분 이상의 샘플 오디오로부터의 음성 복제, 사용자 정의 프롬프트 지시 사항 수행(IF), 컨텍스트 기반 TTS, 그리고 어휘 라이브러리가 있으며, 이 모든 것은 배포 환경에서의 음성 신뢰성이라는 목표를 위해 마련되었습니다. 명시적 IF의 변수는 다음을 포함합니다 emotion, pacing, 그리고 emphasis.

프롬프트

기본값

비표준 음소 힌트: dʒ ɪ f

프롬프트

기본값

비표준 음소 힌트: ʁ e i m s

프롬프트

기본값

비표준 음소 힌트: tʃ i v ɛ l l o

프롬프트

기본값

비표준 음소 힌트: z aɪ ɹ ə

자연스럽게 들리는 모든 음성은 운율, 리듬, 속도, 강세, 전환을 결정하는 감정에 의존합니다. Voxtral TTS는 프롬프트의 텍스트 맥락을 기본적으로 해석하여 감정과 음성 스타일을 파악하므로, 추가적인 지시나 음성 프롬프트 없이도 자연스러운 음성에 본질적으로 더 뛰어난 모델입니다.

표현력, 숫자 및 고유명에서 Voxtral의 언덕 오르기(hill-climbing) 개선을 보여주는 예시.

프롬프트

Voxtral 1

Voxtral 3

프롬프트

Voxtral 1

Voxtral 3

프롬프트

Voxtral 1

Voxtral 3

프롬프트

Voxtral 1

Voxtral 3

35개 언어와 50개가 넘는 방언에서 현지에 맞는 음성을 제공합니다.

Voxtral TTS는 35개 언어 및 지역 방언을 지원합니다. 우리의 다국어 평가는 발음의 방언 차이, 격식체와 비격식체 레지스터, 철자, 장황함, 그리고 로캘 관례(시간, 날짜, 온도, 주소, 통화)를 준수합니다.

Voxtral 3 다국어 라이브러리

음성 프리셋은 18개 언어로 제공됩니다: 아랍어(에미라티, 표준 아랍어), 브라질어(포르투갈어), 카탈루냐어, 중국어(만다린), 네덜란드어, 영어(미국, 영국), 프랑스어(프랑스), 독일어, 그리스어, 힌디어, 이탈리아어, 한국어, 노르웨이어, 러시아어, 스페인어(스페인), 그리고 베트남어.

음성 에이전트가 대화 전체를 제어합니다.

Voxtral 3는 LiveKit 기반의 음성 에이전트 SDK를 도입하여, 음성 입력, 추론, 음성 출력을 하나의 스트리밍 파이프라인으로 실행합니다. Voxtral Mini Transcribe Realtime 3가 발신자가 말을 마쳤는지 듣고 감지하면, Mistral Small와 같은 범용 모델이 추론하고 도구를 호출하며, Voxtral TTS가 지금까지의 대화 톤에 맞춰 응답합니다. 어떤 단계도 이전 단계를 기다리지 않으므로 각 턴은 1초 이내에 완료되고, 발신자가 끼어들면 에이전트는 말을 멈춥니다.

통화 중에 에이전트는 함수 호출, 웹 검색, 그리고 사용자의 자체 시스템에 대한 검색을 통해 발신자의 신원을 확인하거나, 청구서를 조회하거나, 약속을 예약할 수 있습니다. SIP를 통해 전화를 받고 걸 수 있고, WebRTC를 통해 브라우저와 앱에서 실행되며, 이미 사용 중인 전화, IVR, 컨택 센터 소프트웨어와 연동됩니다.

각 단계는 별도의 모델이므로 에이전트를 다시 작성하지 않고도 LLM, 음성 또는 언어를 변경할 수 있으며, 전체 스택을 유럽의 Mistral API 또는 자체 인프라에서 실행할 수 있습니다.

시작하기.

Voxtral 3는 오늘부터 Mistral API를 통해, 유럽, 미국 및 글로벌 엔드포인트에서 호스팅되어 이용 가능합니다.

Studio 플레이그라운드에서 음성 에이전트, 오디오 전사, 음성 생성, 음성 복제를 테스트해 볼 수 있습니다.

Voxtral 지금 사용해 보기  | 자세히 알아보기

온프레미스 또는 프라이빗 클라우드에서 전체 스택을 실행하려면, 저희 팀에 문의하세요. 

Voxtral Small Transcribe 3

신규

가장 높은 정확도의 음성 전사 모델입니다. 50개 이상의 언어를 지원하는 최고 수준의 다국어 전사 및 화자 분리 기능과 컨텍스트 바이어싱을 제공합니다.

전사

오디오

$0.004

/분

Voxtral Mini Transcribe 3

신규

효율적인 저지연 음성 전사 모델입니다. 50개 이상의 언어에서 다국어 전사, 화자 분리 및 컨텍스트 바이어싱을 지원합니다.

전사

오디오 (배치)

$0.0035

/분

Voxtral Mini Transcribe Realtime 3

에이전트 사용 사례를 위해 구축된 실시간 전사 모델로, 40개 이상의 언어에서 500ms 미만의 지연 시간으로 고품질 전사를 제공합니다.

전사

오디오

$0.008

/분

Voxtral Mini TTS 3

35개 이상의 언어와 50개 이상의 방언에서 최고 수준의 표현력과 명령 수행 능력

음성

입력

$13

/1M 자