IT之家 11月6日の報道によると、MetaのCEOであるマーク・ザッカーバーグは今日（11月6日）にThreadsソーシャルプラットフォームで投稿したで、個人用AIアシスタント「Muse」が実際の音声対話や表現力豊かなバーチャルイメージ機能を正式に搭載することを発表しました。
上記機能は先にアメリカのユーザーに配信され、モバイル端末、ウェブページ、Macアプリに対応しています。ユーザーはアプリの右上隅にある電話アイコンをクリックすることで、電話をかけるようにMuseと会話でき、回答中にいつでも中断することができます。IT之家では関連するスクリーンショットを以下の通り掲載しています：
技術サポートの面では、今回の更新は主に Muse Realtime Voice 音声モデルと Muse Realtime Avatar 仮想アバターモデルによって支えられています。前者は「何を言うか」と「どのように言うか」の情報を同時に生成します。一方、後者は同じデータストリームに基づき、リアルタイムで表情や口形、身体動作を生成し、声と画面が同期するようにします。
Metaによると、このシステムは448×768解像度、1秒間25フレームの縦型ビデオをストリーミングで出力でき、ユーザが発話した瞬間から最初の音声・ビデオ応答が得られるまでの遅延は約870ミリ秒である。
対話方式については、音声のみの使用、チャットインターフェースの横に仮想キャラクターを表示する、またはフルスクリーンの「対面式」モードに切り替えることができます。Museのデフォルトキャラクターは「Jolly」というニックネームのカートゥーンですが、ユーザーはこれを人物、動物、またはその他のキャラクターに変更することもできます。音声に関しては、「ニューヨーク・ジャーナリスト風の活気」や「海賊風」など、数百種類のスタイルが提供されています。
Metaは、この機能をより自然な個人インテリジェントアバターのインタラクションとして位置づけています。ユーザーは散歩中や手が忙しい時に口頭でタスクを割り当てることができ、Museは後方で処理を続けます。また、ブレインストーミング、旅行計画、面接、講演練習にも利用できます。Metaでは、Museのバーチャルアイドルを踊らせてInstagram、Facebook、WhatsAppで共有する方法も紹介されています。