闻乐, 凹非寺에서 발송
量子位 | 공식 계정 QbitAI
내가 말하는 것도 아니고, AI는 요즘 코드도 정말 빨리 짜고 연구도 날고 있죠;
그런데 음성 채팅만 되면 한마디 하고 싶어집니다:
도대체 뭐가 그렇게 급한 거야?!!
네 말이 끝나기도 전에 벌써 끼어들고, 감정이 올라오는데도 능청스럽게 답안을 읽어 내려가고, 화제를 돌리려고 끼어들면 마지막 한마디까지 꼭 읽고야 마는……
이게 대화랍시고, 그냥 다투는 거잖아.
△이미지 AI 생성
솔직히 AI의 '말하기'는 이미 관문을 넘었지만, '대화하기'는 아직 한참 멀었다.
대화를 잘하려면 감정과 말 속의 뜻을 알아들을 수 있어야 하고, 당신의 말 리듬을 따라갈 수 있어야 하고, 당신이 끼어들 때 재빨리 말문을 내주어야 한다.
이런 사소한 경험상의 불편함은 잘 눈에 띄지 않지만, 그 뒤에는 음성 인식, 모델 이해, 실시간 전송, 단말 응답에 이르는 하나의 전체 체인이 자리하고 있다.
어느 한 부분이라도 느려지면 채팅 체감은 쉽게 무너진다.
바로 그렇기에,실시간 인터랙션은 모델, 애플리케이션, 하드웨어 팀이 함께 공략하는 방향이 되었다。
방금 막 막을 내린iRTE2026 실시간 인텔리전스 대회에서는 이런 팀들이 모두 한자리에 모였다:
차세대 인터랙션 모델을 연구하는 팀, 고객 서비스 에이전트를 만드는 팀, 스마트 하드웨어를 만드는 팀 모두 같은 주제를 이야기하고 있었다——
어떻게 AI가 실제 대화를 따라가게 할 것인가。
대화형 AI의 흐름을 보여주는 지표적 대회
업계 관찰자의 시각에서 분명하게 볼 수 있는 것은, 현재 대화형 AI의 핵심 진화 노선이 이미단순히 '한 문장식 답변을 생성하는 것'에서 '실제 대화에 지속적으로 참여하는 것'으로 깊이 전환되었다는 점이다.
OpenAI의 GPT-Realtime은 실시간 추론과 도구 호출을 음성 모델에 도입하여, AI가 요구를 이해한 후 어떻게 응답할지, 어떤 도구를 호출할지 판단하도록 했다.
Google의 Gemini Live는 대화와 심층 사고를 병행하게 하여, 백그라운드에서 복잡한 작업을 처리하는 동안에도 사용자는 계속 대화할 수 있다. GPT-Live는 Decisions와 결합하여 에이전트가 증분 전사를 기반으로 사용자가 말하는 도중에도 작업을 트리거하게 한다.
전이중(full-duplex)의 들으면서 말하기부터 소리와 화면을 결합한 전(全)모달 판단까지, AI는 점차 일문일답의 턴제를 벗어나고 있다.
주요 기업들이 실시간 인터랙션을 지속적으로 추진함에 따라, iRTE는 이러한 기술이 산업으로 나아가는 방식을 관찰하는 창구가 되었다.
일찍이 2020년에 이 업계 대회는 RTC에서 RTE로 업그레이드되어, 의제가 실시간 음성·영상 통신에서 더 풍부한 실시간 인터랙티브 경험으로 확장되었다;
올해에는 RTE에 'i'(Intelligent를 의미, 실시간 인텔리전스)를 더해 정식으로 iRTE로 업그레이드되며, 실시간 인터랙션과 생성형 AI의 융합에 더욱 집중하게 되었다.
이름에는 글자 하나만 더해졌지만, 짊어져야 할 일은 훨씬 많아졌다.
전장 세션 주제에서 이번 iRTE 대회의 핵심 방향을 쉽게 알 수 있다. 10여 개 포럼, 100여 개 심층 발표가 대화형 AI의 실제 적용이 넘어야 할 세 가지 현실적 과제를 함께 물었다.
첫 번째 과제는 모델 능력과 비즈니스 결과의 정렬이다.
메이투안, 알리바바, MiniMax, 아고라(声网)가 기업용 고객 서비스 에이전트 전장에서 함께 무대에 올라 토론했다. 대규모 모델의 대화 성능이 아무리 뛰어나도 실제 비즈니스 프로세스에 맞지 않으면 여전히 상업적 가치를 창출할 수 없다.
업계는 모델 방향, 엔지니어링 구현과 비즈니스 목표 사이의 격차를 메워야 할 절실한 상황이다.
두 번째 명제: 유창한 대화 뒤에는 결핍될 수 없는 일체의 기반 기술 인프라가 자리하고 있다.
자연스러운 실시간 대화를 실현하려면 대규모 모델 자체에만 의존할 수 없다. 阶跃星辰(스텝스타), 홍콩중문대학(선전), 칭화대학교 음성·오디오 기술 연구실, Qwen Audio, 蚂蚁百灵, 샤오미, Soul 등 기업 및 대학/기관의 기술 전문가들이 대화형 AI·오디오 AI 기술 세션에서 상호작용 모델, 목표 인음 추출, 다중 화자 인식, 실시간 음성 생성 등 방향을 두고 논의를 진행했다.
업계는 위의 기반 기술 중 어느 하나라도 부족하면 대화 경험이 직접적으로 훼손된다는 공감대를 형성했다.
세 번째 명제는 기술이 실험실에서 단말 하드웨어로 넘어간 후의 현실적 시험이다.
AI 역량이 하드웨어 기기에 내재화되면, 기술 방안은 복잡하고 실제적인 물리 환경과 직면해야 한다.
Rockchip(瑞芯微), Uniview(宇视科技), PETKIT(小佩)은 지능형 하드웨어 및 구현(具身) 지능 세션에서 대규모 모델을 하드웨어에 연결하는 것만으로는 턱없이 부족하며, 엣지 측 연산 제약과 실제 환경 인식은 최종적으로 제품 가치 자체로 돌아가 판단해야 한다고 제시했다.
AI를 탑재한 이후, 기기는 사용자가 지속적으로 사용하고 싶게 만드는 진정한 차별화 능력을 갖추어야 한다.
메인 포럼 원탁은 토론을 한층 더 실현(落地) 차원으로 밀어 올렸다.
斜跃智能 창업자 천웨이(陈伟)는 구현 지능의 핵심은 사람의 의도를 진정으로 로봇의 행동으로 전환하는 것이라고 보았다. 로봇은 음성 명령을 이해할 뿐만 아니라 시각, 음성 및 자기 상태 등 다중 모달 정보를 융합하여 물리 환경에 대한 인식, 계획과 의사결정을 완수하고, 행동 후 환경 변화에 따라 과제 실행을 지속적으로 조정해야 한다.
Rokid(乐奇) 공동창업자 차이궈샹(蔡国祥)은 대화의 자연스러움이 AI 웨어러블 기기의 사용자 경험을 결정하는 핵심이라고 제안했다.
冠客科技 창업자 겅샹레이(耿祥磊)는 음성 상담 좌석의 지연과 끼어들기 상호작용의 타이밍 조절이 업무 성과를 직접 좌우한다고 지적했다. 스마트 하드웨어든 기업 고객 서비스 시나리오든, 모든 시험은 결국 사용자가 말을 연 후 짧게는 몇 초의 상호작용 창구로 수렴된다.
모델이 이해와 추론을 담당한다면, 실시간 네트워크, 오디오·비디오 처리, 상호작용 오케스트레이션 역시 협력하여 뒤따라야 한다.
NVIDIA 수석 아키텍트, 2025 기술·엔지니어링 에미상 수상자Andrey Norkin이 AV2 차세대 비디오 코덱 강연을 통해 미디어 전송이라는 핵심 고리를 보완하고, 더 높은 압축 효율 위에서 우수한 비디오 상호작용 경험을 보장하는 경로를 탐구했다.
모델 역량에서 비즈니스 폐쇄 루프까지, 단말 하드웨어에서 미디어 전송까지, iRTE에서 드러난 업계 동향이 점차 명확해졌다.
대화형 AI의 경쟁은 이미 완전하고 실제적인 상호작용 전체 체인으로 확장되었다.。
그리고 이 체인을 지탱하고, 상호작용 경험의 하한을 결정하며, 실시간성 요구가 가장 높은 기반 인프라야말로Agora(声网)이 깊이 파고드는 분야다.
Agora가 하려는 것은 생성형 AI 시대의 실시간 인프라를 구축하는 것이다.
이 체인을 따라가 보면, Agora가 담당해야 할 역할 역시 변화하고 있다.
과거 화상회의, 온라인 수업, 음성 연결(连麦)은 주로 사람과 사람 사이의 소리와 화면이 원활하게 전달되도록 하는 것이 필요했다.
이제 Agent가 참여하면서 음성 인식, 모델 추론, 도구 호출과 단말 피드백 모두 대화 중에 적시에 협응해야 한다.
Agora 창업자 겸 CEO 자오빈(赵斌)이 메인 포럼에서 제시한 '5단계 대화 능력' 프레임워크는 이러한 변화를 더욱 구체화했다.
L1의 한 마디에 한 답식 대응에서, L2의 상호작용 규칙 습득과 듣기·말하기 타이밍 조율, L3의 개인 의도와 상황 이해, L4의 다자 관계와 소통 경계 이해를 거쳐, 최종적으로 L5의 장기적 맥락에 기반한 깊은 소통으로 나아간다.
이 프레임워크에 따라 보면, 답변이 빠르고 목소리가 자연스러운 것은 일부 능력일 뿐이다. AI는 나아가 자신이 누구와 대화하는지, 상대가 왜 그렇게 말했는지, 어떤 반응이 적절한지를 이해해야 한다.
현재 가장 직접적인 시험은 바로 멈춤, 끼어들기, 과제 실행을 잘 처리하는 것이다.
'빠른 뇌·느린 뇌' 협업이처리하는 것은 바로 이런 유형의 문제다.
이 프레임워크에서는 상호작용 모델이 실시간 대화를 유지하고, 백그라운드 모델이 심층 추론, 검색 및 도구 호출을 담당한다. 사용자는 조건을 추가하거나 요구를 변경할 수 있으며, 시스템은 이에 따라 실행을 조정한다.
그러나 병렬 처리 이후에도 여러 모델은 일관성을 유지해야 한다. 앞서 새로운 요구를 이미 수용했다면, 뒤에서는 예전 과제대로 계속 작업해서는 안 된다.
성목(Agora)이 시연한Agora Conversational Model은 다중 모델 협업 방식의 하이브리드 대화 시스템을 채택하여, 음성 인식, 전이중(full-duplex) 응답, 추론, 도구, 기억 및 음성 표현을 조직화하고, 지속적인 청취, 의도 판단 및 행동을 조율합니다.
실시간 인프라의 역할 역시 연결과 전송에서 대화 과정 중의 모델 협업으로까지 확장되었습니다.
자오빈(赵斌)이 소개한Conversational Agent System은 위의 역량들을 글로벌 실시간 네트워크, 오디오 처리 및 추론 인프라와 결합합니다. 소리와 화면은 지속적으로 전달되어야 하고, 턴, 컨텍스트 및 비즈니스 상태도 제때 동기화되어야 합니다.
그가 더 나아가 제시한분산형 실시간 추론 클라우드방향에는 모델을 사용자 가까이에서 실행하고, 지연 시간, 부하 및 시나리오에 따라 모델, 도구 및 경로를 동적으로 선택하는 것도 포함됩니다.
이러한 역량이 비즈니스와 단말기에 들어가는 데에는 이를 담당하는 관련 제품도 마련되어 있습니다.
대화형 AI 엔진모델, Agent 실행 프레임워크와 사용자를 연결하며, 캐스케이드형 및 엔드투엔드 아키텍처를 모두 지원하고, 턴 관리, 발화 중단 처리, 주의 고정 등의 기능을 제공합니다.
개발 키트하드웨어가 음성 대화에서 시각, 동작 상호작용으로 확장하도록 지원합니다.
Call Agent전화 업무를 대상으로 회선 구성, 플로우 오케스트레이션, 테스트 배포 및 모니터링 등의 도구를 제공합니다.
개발자는 SDK, Skills, CLI, Recipes를 통해 접속, AI 프로그래밍 보조 및 시나리오 예제 지원을 받을 수 있으며, TEN Framework 등 오픈소스 프로젝트를 활용해 모델, 도구, 메모리를 조합함으로써 기본 단계의 반복 구축을 줄일 수 있습니다.
네트워크, 상호작용 처리부터 제품과 도구까지, 아고라(Agora)는 사람과 Agent 간 소통에 필요한 역량을 재사용 가능한 인프라로 조직하고 있습니다.
이는 컨퍼런스가 RTE에서 iRTE로 나아가는 방향과도 부합합니다.
실시간 인터랙션이 지능을 탑재하기 시작하면, 기반 시스템은 모델의 이해, 추론, 행동이 실제 소통 속에서 지속적으로 유기적으로 작동하도록 해야 합니다.
일반 사용자는 백엔드에서 몇 개의 모델이 협업하고 네트워크 노드를 얼마나 거쳤는지 관심 둘 필요가 없습니다. 우리의 요구는 사실 늘 소박했습니다.
말이 끝나기 전까지는 들어주고, 생각이 바뀌면 따라오며, 맡긴 일은 잘 처리하는 것——
AI가 이렇게 똑똑해졌으니, 대화할 때도 사람이 좀 편해져야 하지 않겠습니까.