IT之家 10월 25일 소식에 따르면, 트위터의 공동 창립자 잭 도르시의 Block 회사가 새로운 음성 모델 Dessa를 출시했습니다. 이 모델은 현지에서 실행이 가능하며 웃음소리, 침묵, 울음 등 다양한 감정 표현을 모방할 수 있어 매우 인간적한 느낌을 줍니다. 공식 설명에 따르면 Dessa는 인간 음성 데이터로만 훈련되었으며, 훈련 과정에서는 단 하나의 엔비디아 GPU 랙만 사용되었습니다.
데사는 전통적인 양방향 모델로, 올해 초 OpenAI가 발표한 GPT-Live와 마찬가지로 사용자의 음성을 듣으면서 말할 수 있습니다. 주류 음성 모델은 일반적으로 대형 언어 모델과 함께 사용되어 지식을 조회합니다; 블록에 따르면, 데사 자체의 지식은 그를 훈련하는 데 사용된 대화 데이터에서 비롯됩니다.
Block은 현재의 음성 AI 경험이 종종 거칠고 부자연스러운 이유가, 생성 과정에서 먼저 텍스트로 변환된 다음 그 텍스트를 기반으로 음성 합성을 수행하기 때문이라고 말했습니다. ElevenLabs v4, Fish Audio Drama 3과 같은 모델들은 음성 태그에 의존하여 감정을 제어합니다. 반면 도르시의 이 회사는 감정 표현이 모델에 내장된 기능이라고 주장하지만, 현재 그 하위 시스템이 여전히 어떤 태그에 의존해 감정을 조절하는지는 명확하지 않습니다.
블로그에 글을 올린 블록은 다음과 같이 썼습니다: “지금의 음성 AI 상호작용 경험은 정말 형편없습니다. 먼저 음성을 텍스트로 변환하고, 방대한 양의 텍스트를 담아내지 못하는 정보가 그대로 사라집니다. 세계에서 가장 강력한 AI조차도 당신의 감정을 알아볼 수 없습니다. 우리는 이가 불합리하다고 생각합니다. 경험이 나쁜 것뿐만 아니라 위험한 상황도 존재합니다.”
연구팀은 Dessa와의 대화 예시를 여러 개 공개했습니다. 이 스마트 아티스트는 음색, 말하는 속도, 감정 표현을 바꿀 수 있습니다. 예를 들어, 한 대화에서는 AI가 자신이 매우 피곤하다고 말하며, 목소리에도 피로함이 나타납니다.
또 다른 예시에서는 AI가 상대방이 주는 안도감을 이야기하며, 감정이 담긴 목소리로 거의 울음하듯 말했습니다. 또 다른 시연에서는 Block의 직원들이 이 음성 어시스턴트와 게임을 합니다.
공식 설명에 따르면, 이 모델은 소비자용 컴퓨터에서 로컬로 실행될 수 있으며, 기기 요구 사항은 M4 Max 이상의 성능을 갖는 MacBook입니다. 하지만 현재로서는 Dessa를 공개적으로 시험 사용할 수 없습니다. Block은 보안 연구자들에게 테스트 요청을 보내고 있으며, 이러한 음성 인공지능이 인간을 속이는 위험한 상황을 중점적으로 테스트하고 있습니다.
IT之家에 따르면, Block의 주요 사업은 금융 서비스이며, 소규모 기업에 솔루션을 제공합니다. Square는 이미 음성 AI를 이용해 주문 업무를 처리하고 있습니다. 자체적으로 개발한 음성 모델을 단말에서 실행할 수 있기 때문에, Block은 더 낮은 비용으로 상인과 일반 사용자를 위한 더 많은 음성 제품을 출시할 수 있을 것으로 기대됩니다.