음성이 다음 큰 인터페이스라는 이론이 강력한 추진력을 얻고 있으며, 투자자들은 모델 제작 및 기업 고객 서비스 제공업체부터 회의 노트 작성 및 AI 기반 음성 녹음까지 다양한 분야를 다루는 음성 AI 스타트업에 수십억 달러를 투자하고 있다.
매주 새로운 모델이나 도구가 출시되며 인간의 목소리처럼 대화하는 것으로 주장합니다. 하지만 실제로는 그렇지 않을 수 있습니다. 엔터프라이즈 음성 AI 플랫폼 PolyAI의 CTO인 Shawn Wen은 전면 교차 통신 모델이 출시된다고 해도 — 즉 당신의 말을 듣으면서 말할 수 있다고 해도 — 음성 AI는 아직 “ChatGPT의 순간”을 맞이하지 않았다고 생각합니다.
“우리는 전면 대화 모델을 개발하는 마일스톤에 도달했습니다. 다음 과제는 추론을 매우 빠르게 수행하는 것입니다. 그래야 모델이 빠르게 답을 얻고 대화가 자연스러워질 수 있습니다.” 그는 지난 달 HumanX 컨퍼런스에서 무대 위에서 저에게 말했습니다.
그는 또한 고객 서비스에서 사용되는 AI 에이전트는 기계적이어서는 안 되며, 전화를 거는 사람들이 문제를 해결할 수 있다는 신뢰감을 가질 수 있어야 한다고 말했습니다.
“다음 단계는 조금 다를 거라고 생각합니다. 목소리가 충분히 좋고 고객이 처음 두세 번의 대화에서 그와 교류할 의향이 있다면, 그들은 자신감을 갖기 시작합니다. 시간이 지나면서, 에이전트가 제 문제를 해결해 줄 수 있다면 인간과 대화할 필요가 없다고 느끼게 될 것입니다.”라고 그는 말했습니다.
회의 메모 수집 서비스 회사 Otter의 CMO인 알렉스 게이는 발언자 식별, 의도 포착, 그리고 조직적 지식을 활용한 타이핑이 자동화를 가능하게 하는 핵심 단계라고 말했습니다. 이 회사는 또한 회의 중에 사람들을 나타낼 수 있는 디지털 트윈 기술을 개발하고 있습니다. 그는 이러한 기술의 경우, 출력되는 음성이 회의 중에 인간과 대화하는 것과 같은 감정적 표현을 보여주는 것이 매우 중요하다고 말했습니다.
“지금 여러분이 참석하고 있는 회의들을 생각해보면, 가장 좋은 대화는 토론과 전략적 논의가 가능한 곳에서 이루어지는 것입니다. 그리고 그 관계가 기반이 되는 느낌이 드는 곳에서 말입니다. 만약 아바타와 함께 그러한 대화를 할 수 없다면, 그건 단지 Q와 챗봇에 불과합니다.” 게이가 말했습니다.
보이스 AI의 이해력과 투명성
음성 AI 모델이 향상되었지만, AI 조수는 종종 사용자를 이해하지 못하거나, 회의 메모기에서 잘못된 녹취나 요약을 표시하기도 합니다.
웬은 ASR(자동 음성 인식) 모델이 종종 중요한 키워드를 놓치는 경우가 많으며, 이로 인해 전체 맥락을 파악하는 데 문제가 생긴다고 생각합니다.
오터스 게이는 이에 동의하며, 회사가 음성 전사 기술을 개선하기 위해 계속 노력하고 있다고 말했습니다. 또한 언어는 음성 모델이 개선해야 할 분야 중 하나라고 말했습니다.
“오터에게 있어서 음성 전사가 결코 최종 목적이 되는 것은 아니었습니다. 그저 생산성을 높이는 데 도움이 될 수 있는 단계에 불과했죠. 하지만 원래의 음성 전사가 필요한 정확도를 갖지 못한다면, 이후의 모든 조치들이 잘못된 것이 됩니다. 그리고 조치를 취하기 시작하는 순간부터 그건 잘못된 것입니다. 플랫폼에 대한 신뢰가 사라지게 됩니다.” “모든 후단 영향이 중요하기 때문에 그 ASR 모델을 지속적으로 개선하는 것이 우리에게 매우 중요합니다,”라고 그는 말했습니다.
새로운 음성 도구를 사용할 때 투명성 문제도 발생합니다. 도구는 고객에게 자신이 녹음되거나 AI와 대화하고 있다고 명시해야 합니다. 오터는 회의에 참석한 사람들에게 신뢰를 심어주고 싶다고 말했으며, 봇이 없는 회의라도 채팅에서 모두에게 회의가 녹음되고 있다는 사실을 알리는 방법을 시도하고 싶다고 했습니다. 폴리AI의 웬도는 기업 통화에서 사람들이 AI와 대화하고 있다는 사실을 명확히 해야 한다고 말했습니다.