Le 6 novembre, Zuckerberg a annoncé sur Threads que l'assistant IA personnel Muse lançait officiellement la conversation vocale en temps réel et les avatars virtuels. La fonctionnalité est d'abord ouverte aux utilisateurs américains, couvrant le mobile, le web et l'application Mac. En cliquant sur l'icône de téléphone en haut à droite de l'application, l'utilisateur peut lui parler comme en passant un appel, et l'interrompre à tout moment en cours de phrase. Cela signifie que Muse n'est plus seulement du texte dans une zone de saisie, mais devient un interlocuteur capable d'enchaîner et de répliquer.
Un seul ensemble de modèles gère à la fois la bouche et le visage
Le tout est soutenu par deux modèles, Muse Realtime Voice et Muse Realtime Avatar. Le premier génère simultanément « quoi dire » et « comment le dire », le second complète en temps réel, à partir du même flux de données, les expressions, les mouvements des lèvres et les gestes, afin que son et image ne se désynchronisent pas. Le système produit en flux continu une vidéo verticale de 448×768 à 25 images par seconde, avec environ 870 millisecondes entre la fin de parole de l'utilisateur et la première réponse audio-vidéo reçue. Côté interaction, on peut opter pour le mode purement vocal avec l'avatar affiché à côté du chat, ou passer en plein écran « face à face » ; le personnage de dessin animé par défaut, Jolly, peut être remplacé par des personnages ou des animaux, et les voix se déclinent en des centaines de styles, de « l'énergie new-yorkaise » à « l'accent de pirate ».
Viser les scénarios où l'on a « les mains prises »
Meta le positionne comme un agent personnel plus naturel : en marchant ou les mains occupées, on commande des tâches à la voix, et Muse s'en charge en arrière-plan ; il peut aussi servir à brainstormer, planifier un voyage ou s'entraîner à un entretien ou une présentation. L'entreprise a même montré l'avatar qui danse, avant de l'envoyer d'un clic sur Instagram, Facebook et WhatsApp. Quand l'IA se dote d'un visage et d'une voix, le business de la conversation risque de devenir concurrentiel sur le terrain du « réalisme humain ».