IT之家 25 de octubre: La empresa Block, perteneciente a Jack Dorsey, fundador de Twitter, lanzó un nuevo modelo de voz llamado Dessa, que funciona localmente y puede simular expresiones emocionales como risas, pausas y sollozos, ofreciendo una experiencia muy humana. Según la presentación oficial, Dessa se entrenó completamente con datos de voz humana, y el proceso de entrenamiento utilizó únicamente un grupo de rack de GPU NVIDIA.
Dessa pertenece al modelo full-duplex, al igual que GPT-Live, lanzado por OpenAI hace poco, donde se puede hablar mientras se escucha el voz de los usuarios. Los modelos de voz principales generalmente necesitan un modelo de lenguaje grande para acceder a conocimientos; Block afirma que los conocimientos de Dessa provienen de los datos de diálogo utilizados en su entrenamiento.
El bloque indica que las experiencias actuales de inteligencia artificial de voz son a menudo rígidas y discordantes, y la razón radica en que el proceso de generación debe convertirse primero en texto, y luego el texto impulsa la síntesis de voz. Muchos modelos como ElevenLabs v4 y Fish Audio Drama 3 dependen de etiquetas de voz para controlar las emociones. Sin embargo, esta empresa de Dolsi afirma que la expresión emocional está integrada nativamente en el modelo, pero aún no está claro si en su capa subyacente sigue dependiendo de alguna etiqueta para regular las emociones.
El bloque escribió en el blog: “La experiencia de interacción con la IA de voz actual es realmente mala. Primero convierte tu voz en texto, y una gran cantidad de información que no puede ser contenida en ese texto se pierde directamente. Incluso la IA más potente del mundo no puede entender tus emociones. Consideramos esto irracional; no solo es una experiencia deficiente, sino que también existe un riesgo potencial.”
El equipo de investigación ha publicado varios ejemplos de diálogo con Dessa. Este agente inteligente puede cambiar el timbre, la velocidad y las emociones. Por ejemplo, en un segmento de diálogo, la IA dice que está muy cansada en su trabajo, y su estado vocal también refleja esa sensación de agotamiento.
En otro ejemplo, la IA habla sobre las sensaciones que le brindan tranquilidad al otro, con un tono emocionado, casi con lágrimas en los ojos. En otra demostración, los empleados de Block juegan un juego con esta asistente de voz.
Descripción oficial: Este modelo puede funcionar localmente en computadoras de consumo, y los dispositivos requeridos son MacBook con configuración M4 Max o superior. Sin embargo, en este momento Dessa no está disponible para pruebas públicas. Block envía invitaciones de prueba a investigadores de seguridad para probar, especialmente, los escenarios de riesgo en los que estos agentes inteligentes de voz pueden engañar a los seres humanos.
Según lo que IT Home sabe, el negocio principal de Block es los servicios financieros, ofreciendo soluciones para pequeñas y medianas empresas. Su marca Square ya utiliza inteligencia artificial vocal para gestionar pedidos. Después de desarrollar este modelo de voz que funciona en el dispositivo del cliente, Block espera poder lanzar más productos de voz dirigidos a comerciantes y usuarios generales a un costo menor.