IT之家 10月25日の報道によると、Twitterの創設者ジャック・ドルシーの傘下企業Blockが新しい音声モデルDessaを発表した。このモデルはローカルで動作可能で、笑い声、停止、嗚咽などの感情表現を模倣し、聴感が非常に人間らしくなっている。公式説明によると、Dessaは人間の音声データのみを基に訓練されており、訓練にはイギリスン・グラフィックス・カードのラックが一組だけ使用された。
Dessaは全双工モデルであり、OpenAIが今年初めに発表したGPT-Liveと同様に、話しながらユーザーの音声を聞くことができます。主流の音声モデルは通常、大言語モデルと組み合わせて知識を取得する必要があります。Blockによると、Dessa自身の知識は訓練に使用された対話データから得られているとのことです。
ブロック表示では、現在の音声AI体験がしばしば硬く、不自然である。その原因は、生成プロセスがまずテキストに変換され、そのテキストを通じて音声合成が行われるからだ。ElevenLabs v4やFish Audio Drama 3などの多くのモデルは、音声タグによって感情を制御している。一方、このDorsey社の会社は、感情表現はモデルの内蔵機能であると主張しているが、実際に底層で何らかのタグが感情を調整するかどうかはまだ明らかではない。
ブログでブロックは次のように書いている：「現在の音声AIのインタラクション体験は本当に悪い。まず自分の音声を文字に変換し、大量の文字が持ちこたえられない情報が直接失われる。世界で最も強力なAIでさえ、あなたの感情を理解できない。これは不合理だと私たちは考えている。体験が悪いだけでなく、潜在的なリスクも存在する。」
研究チームがDessaとの対話例を複数段階で公開しました。このスマートアイドルは音色や発音速度、感情を切り替えることができます。例えばある対話では、AIが仕事が疲れていると自己申告し、声のトーンも疲労感を反映しています。
またある例では、AIは相手が自分に与える安心感について話し、声のトーンには感情が込められており、ほとんど涙を流すようだった。別のデモでは、Blockの従業員がこの音声アシスタントとゲームをする。
公式説明によると、このモデルは消費者向けコンピュータのローカル環境で動作可能であり、対応機器にはM4 Max以上の仕様を持つMacBookが必要です。しかし現段階ではDessaは外部への試用は受け付けていません。Blockはセキュリティ研究者にテスト招待を送り、この種の音声インテリジェントアプリが人間を欺くリスクのあるシナリオを重点的にテストします。
IT之家の情報によると、Blockの主な事業は金融サービスで、小規模な企業向けにソリューションを提供しています。Squareではすでに音声AIを利用して注文業務を処理しています。この端末側で動作する音声モデルを自社で開発したことで、Blockはより低コストで、商人や一般ユーザ向けの音声製品をより多く実装できると期待されています。