블록의 새로운 음성 모델은 불길하게 인간처럼 들린다

Jack Dorsey의 Block은 출시된 회사의 연구실에서 새로운 음성 모델을 공개했습니다. 이 모델은 현지에서 실행되며 웃음, 침묵, 울음과 같은 표현으로 인해 이상하게 인간적인 소리를 냅니다. 회사는 Dessa라고 불리는 이 모델이 인간의 말소리와 단일 NVIDIA GPU로 완전히 훈련되었다고 밝혔습니다.

데사는 양방향 모델로, 동시에 대화하고 듣는 기능을 갖습니다. 마치 올해 발표된 GPT-Live 모델와 같습니다. 일반적으로 음성 모델은 지식 검색을 위해 대규모 언어 모델과 함께 사용됩니다. 블록은 데사의 지식은 그가 가진 대화 데이터에서 비롯된다고 말했습니다.

블록은 현재의 모델들이 음성 생성을 이끄는 텍스트가 파이프라인에 존재하기 때문에 불쾌하고 이상하게 들린다고 말했습니다. ElevenLabs v4나 Fish Audio Drama 3과 같은 많은 모델들은 음성 태그를 사용하여 음성 생성 중 감정을 조절합니다. 도르시의 회사는 그 모델에 감정이 내재되어 있다고 주장합니다. 그러나 그 감정이 어떤 종류의 태그에 의해 조종되는지는 명확하지 않습니다.

“현재의 음성 AI와 상호작용하는 것은 정말 끔찍합니다. 그 AI는 당신의 목소리를 텍스트로 변환하고, 텍스트만으로는 전달할 수 없는 엄청난 양의 정보를 버립니다. 세계에서 가장 강력한 AI도 당신이 어떻게 느끼는지 듣지 못합니다. 우리는 이가 터무니없다고 생각하며, 그로 인해 경험이 더 나빠지고 잠재적으로 위험할 수 있다고 합니다.” 회사는 블로그 게시물에서 이렇게 말했습니다.

회사의 연구원들은 데사와의 대화 예시 여러 건을 공개했는데, 그 대화에서 에이전트는 다른 목소리, 다른 어조, 그리고 다른 감정을 보였습니다. 예를 들어, 대화 중에 봇은 일로 지쳤다고 말했고, 그 순간에는 지친 듯한 음색을 띠었습니다.

아래 예시에서, 봇은 감정에 휩싸여 거의 무너질 듯한 모습으로, 사람을 편안하게 해주는 것에 대해 이야기하고 있었습니다.

또 다른 장면에서는 블록 팀원이 음성 어시스턴트와 함께 게임을 하는 모습이 나옵니다.

이 회사는 해당 모델이 MacBook M4 Max이나 그 이상의 소비자용 컴퓨터에서 로컬로 실행될 수 있다고 밝혔습니다. 하지만 현재 Dessa에 대한 공개 접근은 불가능하며, Block은 안전 연구원들에게 모델을 테스트해달라고 요청했습니다. 이는 음성 에이전트가 상대방을 속일 수 있는 경우를 검증하는 데 도움이 될 것입니다.

블록은 금융 분야에서 소규모 기업에 솔루션을 판매하는 사업을 하고 있습니다. 스퀘어는 이미 음성 AI를 이용한 주문 처리를 활용하고 있습니다. 하지만 기기 내에서 실행할 수 있는 자체 음성 모델을 통해 더 많은 비즈니스 및 소비자 경험을 저렴한 비용으로 제공할 수 있습니다.