IT之家 – Le 25 octobre, la société Block, appartenant à Jack Dorsey, fondateur de Twitter, a lancé un nouveau modèle vocal Dessa, compatible avec le fonctionnement local. Ce modèle permet d’imiter des émotions telles que les rires, les pauses et les sanglots, offrant une expérience sonore très humaine. Selon la description officielle, Dessa est entièrement entraîné sur des données de voix humaines, et le processus d’entraînement a utilisé uniquement un groupe de rack GPU NVIDIA.
Dessa appartient au modèle full-duplex, tout comme GPT-Live publié par OpenAI plus tôt cette année, qui permet de parler tout en écoutant la voix des utilisateurs. Les modèles vocaux de pointe nécessitent généralement l’utilisation d’un modèle de langage majeur pour accéder aux connaissances ; selon Block, les connaissances propres à Dessa proviennent des données de dialogue utilisées pour son entraînement.
Le Block indique que les expériences actuelles d’IA de voix sont souvent rigides et inconfortables, car le processus de génération commence par la conversion en texte, puis le texte est utilisé pour syntoniser la voix. De nombreux modèles tels que ElevenLabs v4 et Fish Audio Drama 3 s’appuient sur des étiquettes vocales pour contrôler les émotions. Cependant, cette entreprise de Dolsi affirme que l’expression des émotions est intégrée naturellement dans le modèle, mais il n’est pas clair si les mécanismes internes reposent toujours sur des étiquettes pour réguler les émotions.
Le Block a écrit sur le blog : « L’expérience d’interaction avec les IA vocales est actuellement très mauvaise. Elle transforme d’abord votre voix en texte, et une grande quantité d’informations ne pouvant être contenues dans ce texte se perd directement. Même l’IA la plus puissante du monde ne peut pas déceler vos émotions. Nous pensons que c’est irréaliste, non seulement l’expérience est mauvaise, mais il existe aussi des risques potentiels. »
L’équipe de recherche a publié plusieurs exemples de dialogue avec Dessa. Ce robot intelligent peut changer de timbre, de vitesse de parole et d’émotion. Par exemple, dans un dialogue, l’IA dit qu’elle est très fatiguée au travail, et son état vocal reflète également une fatigue.
Dans un autre exemple, l’IA parle de la sensation de sécurité qu’elle procure à l’autre partie, avec un ton émouvant, presque épuisé. Un autre démonstration montre que les employés de Block jouent à des jeux avec cette assistant vocale.
Explication officielle : ce modèle peut fonctionner localement sur des ordinateurs de consommation, et les appareils requis sont un MacBook équipé de la configuration M4 Max ou supérieure. Cependant, pour le moment, Dessa n’est pas ouverte à l’essai public. Block envoie une invitation de test aux chercheurs en sécurité, en mettant l’accent sur les scénarios de risque où ces entités intelligentes vocales trompent les humains.
Selon IT Home, les activités principales de Block sont les services financiers. Ils proposent des solutions pour les petites et moyennes entreprises, et leur produit Square utilise déjà l’IA vocale pour traiter les commandes. Après avoir développé ce modèle vocal fonctionnant côté client, Block devrait pouvoir introduire davantage de produits vocaux destinés aux commerçants et aux utilisateurs ordinaires à un coût moindre.