ブロックの新しい音声モデルは、不気味に人間らしく聞こえる

ジャック・ドーシーのBlock 発売 同社の研究ラボで開発された新しい音声モデルで、ローカルで動作し、笑い声、間の沈黙、泣き声といった表現が奇妙に人間らしく聞こえます。同社によると、Dessaというこのモデルは、人間の言語と単一のNVIDIA GPUのみを使って完全に訓練されているとのことです。

Dessaはフルデュプレックスモデルであり、同時に会話し、聞くことができます。これは、今年初めに公開されたOpenAIのGPT-Liveモデルと同じです。通常、音声モデルは知識検索のために大規模言語モデルと組み合わせられます。Blockによると、Dessaの知識はそれが持つ会話データに基づいています。

ブロックは、音声生成を促進するパイプライン内のテキストがあるため、現在のモデルは不自然でうっとうしいと言っている。ElevenLabs v4やFish Audio Drama 3のような多くのモデルは、音声生成における感情を制御するために音声タグを使用している。ドーシーの会社は、感情がモデルに組み込まれていると主張している。その感情が何らかのタグによって制御されているのかは明らかではない。

「現在の音声AIと交流すると、本当に悪いです。声をテキストに変えてしまい、テキストだけでは伝えられない膨大な情報が捨てられます。世界で最も強力なAIでさえ、あなたの感情を聞くことはできません。私たちはそれが馬鹿げていると考えるし、体験が悪化する原因になり、潜在的に危険であるとも思います」と、同社はブログ記事で述べています。

同社の研究者たちは、エージェントが異なる声、リズム、感情を持つ、デッサとの会話の複数の例を公開した。例えば、会話の中でボットは仕事で疲れていると言い、その時点では疲れた様子が聞こえた。

下の例では、ボットが感情を込めて、ほとんど崩壊しそうな様子で、相手を心地よくさせている人について話していました。

別の映像では、Blockチームのメンバーが音声アシスタントとゲームをしている様子が見えます。

同社は、このモデルはMacBook M4 Maxやそれ以上の消費者向けコンピュータでローカルに動作可能だと述べています。しかし、現時点ではDessaに公開されておらず、Blockは安全研究員にモデルのテストを依頼しています。これにより、音声エージェントが相手方の人々を騙す可能性があるケースを検証することが期待されます。

Blockは金融業界で事業を営み、小規模企業向けのソリューションを販売しています。Squareはすでに音声AIを利用した注文処理を行っています。しかし、デバイス上で動作する独自の音声モデルを持っているため、より多くのビジネスや消費者体験を低コストで実現できます。