Mistral AIは、リアルタイム音声エージェント向けに構築された新しい言語モデルファミリー「Voxtral 3」を発表しました。 このシステムには、音声認識モデル（Voxtral Small Transcribe 3）、音声合成モデル（Voxtral Mini TTS 3）、そしてLiveKitベースのボイスエージェントSDKが含まれています。これらを組み合わせることで、聞く、考える、ツールを使う、話すという機能が単一のストリーミングパイプラインに統合されます。文字起こしは50以上の言語に対応しています。音声合成の出力は、感情への適応を備え、35以上の言語と50の方言をサポートしています。エージェントはライブ会話中に外部システムを利用できます。たとえば、予約の登録や請求書の確認などが可能です。
Mistralによると、このシステムは自社インフラ上で実行することも、EUホストのAPIを通じて実行することもでき、データを自分の管理下に置くことができます。文字起こしの料金は1分あたり$0.0035からです。詳細は documentation.
Ad Source: Mistral