10월 23일, iRTE2026 실시간 인텔리전스 컨퍼런스가 베이징에서 개최되었다. 아고라(声网) 창업자 겸 CEO 자오빈(赵斌)은 메인 포럼에서 『대화형 AGI: 실시간 인터랙션의 다음 장』이라는 제목의 기조연설을 통해, 지난 1년간 실시간 인터랙션, 대화형 AI 및 기반 인프라의 핵심 변화를 회고하고, '5단계 대화 능력' 프레임워크를 제시하며 대화형 AI가 기본적인 응답에서 심층 이해와 관계 소통으로 발전하는 경로를 그려냈다.
자오빈은 AI가 질문에 답하는 단계를 넘어 지속적인 교류, 맥락 이해, 과제 수행으로 나아감에 따라 실시간 인터랙션의 대상이 사람과 사람 사이에서 사람과 Agent로 확장되고 있다고 보았다. 실시간 인터랙션 기술의 역할도 이에 따라 확장된다. 즉, 정보 전달을 더 안정적이고 원활하게 만드는 것뿐만 아니라, AI의 지각, 이해, 표현, 행동에 실시간 지원을 제공해야 한다.
'한 마디 물으면 한 마디 답하기'에서 깊은 관계 소통까지: 대화형 AGI의 5단계 진화
자오빈의 견해로는, 대화형 AI의 발전을 응답 속도나 언어의 자연스러움만으로 측정해서는 안 된다. 더 중요한 것은 대화 상대의 의도, 처지, 관계를 이해할 수 있는지, 복잡한 상황에서 적절하게 표현할 수 있는지, 그리고 점진적으로 장기적이고 깊이 있는 이해를 형성할 수 있는지이다.
이러한 판단을 바탕으로 자오빈은 기조연설에서 '5단계 대화 능력' 프레임워크를 제시하며 대화 능력을 다섯 개 수준으로 나누었다:
L1, 자기 시점에 기반한 표현: 자기 표현과 수동적 이어가기가 중심으로, '한 마디 물으면 한 마디 답하기'를 실현한다.
L2: 상호작용 규칙에 기반한 표현: 수동적 응답에서 능동적 표현으로 나아가 대화를 더 자연스럽고 일관되게 만든다.
L3: 개인 인지에 기반한 소통: 개인의 정체성, 의도, 처지를 이해하여 사람에 따라 다른 소통을 실현한다.
L4: 집단 인지에 기반한 소통: 사회적 관계와 역할 차이를 이해하여 복잡한 다자간 소통 상황에 적응한다.
L5: 깊은 관계에 기반한 소통: 장기적 맥락과 관계의 변화를 이해하여 더 깊은 수준의 이해와 사고의 공감대를 형성하고, 소통이 현재를 이해하는 것에서 한 사람을 이해하는 것으로 나아가게 한다.
이 다섯 단계가 보여주는 것은 대화 기술의 단계적 강화만이 아니라, AI와 사람 사이 관계의 변화이기도 하다. 즉, 한 번의 질의응답을 완수하는 것에서 한 사람을 이해하는 것으로, 나아가 사람과 사람 사이의 관계를 이해하는 것으로, 나아가 마침내 시간과 상황을 넘나드는 깊은 소통을 형성하는 것이다.
자오빈은 대화형 AI가 초기의 수동적 이어가기 상호작용에서 더 능동적이고 자연스러운 전이중(full-duplex) 대화로 발전하고 있으며, 사람의 개성, 처지, 감정, 관계를 이해하기 시작했다고 지적했다. 미래를 향해 AI는 복잡한 사회적 상황에서의 역할 분담과 소통 질서를 돌파하고, 개인이 장기간 축적한 맥락을 한층 더 이해해야 한다. 이것이 바로 대화형 AGI의 중요한 발전 방향이다. 즉, AI가 한 마디를 알아듣는 것뿐만 아니라 완전한 맥락과 결합하여 한 사람의 진짜 의도를 이해하고 적절하게 응답할 수 있어야 한다.
Real-Time AI Infra: 대화형 AGI를 뒷받침하는 핵심 인프라
대화 능력의 지속적인 진화는 기반 기술에도 더 높은 요구를 제기했다. 자오빈은 기조연설에서 지난 1년간 OpenAI 등 회사들의 WebRTC 기술에 대한 깊이 있는 채택이 실시간 인터랙션 기술이 대화형 AI 분야에서 더 넓은 관심과 응용을 얻도록 추동했다고 언급했다. AI가 단발성 질의응답에서 지속적인 상호작용으로 나아감에 따라, 실시간 인터랙션 인프라는 모델, 에이전트 실행 프레임워크, 사용자를 연결하는 중요한 기술적 뒷받침이 되고 있다.
전통적인 AI 애플리케이션과 비교할 때, 대화 상황은 지연, 안정성, 양방향 상호작용에 대해 더 엄격한 요구를 갖는다. AI는 사용자 입력을 수신하는 동시에 맥락을 이해하고 응답을 구성해야 하며, 필요시 언제든 끼어들기를 처리하고, 도구를 지속적으로 호출하여 과제를 진행해야 한다. 어느 단계에서든 뚜렷한 지연이 발생하면 대화의 자연스러움이 깨질 수 있고, 심지어 과제 완수 여부에도 영향을 줄 수 있다.
이러한 요구를 뒷받침하기 위해, 자오빈은 실시간 지능형 인터랙션을 위한 인프라 방향을 소개했다. 글로벌 실시간 전송 네트워크, 분산형 클라우드-엣지-단말 연합 추론, 실시간 오케스트레이션과 전이중 상호작용 능력을 통해 모델과 Agent가 실제 상황에서 지속적으로 협업할 수 있게 한다. 아고라의 대화형 AI 엔진 역시 전이중 상호작용을 핵심으로 삼아, 모델, Agent 실행 프레임워크, 사용자를 연결하며 안정적이고 동기화된 실시간 대화 경험을 뒷받침한다.
동시에 아고라는 개발자를 대상으로 대화형 AI 개발 도구와 개발 키트를 지속적으로 개선하고 있으며, SDK, Skills, CLI 도구 및 Recipes 등의 능력을 결합하여 개발자가 완전한 로직과 실행 능력을 갖춘 Agent를 더 효율적으로 구축하도록 돕고 있다.
고객 서비스, 교육에서 AI 컴패니언과 스마트 웨어러블에 이르기까지, 자오빈은 대화형 AI가 더 많은 실제 상황에 진입하고 있다고 보았다. AI가 진정으로 가치를 창출할 수 있는지는 모델이 '말을 잘하는지'에만 달려 있는 것이 아니라, 수요를 이해하고 자연스럽게 소통하며 과제를 지속적으로 완수할 수 있는지에 달려 있다. 실시간 인터랙션 기술은 이 과정에서 점점 더 중요한 역할을 하게 될 것이다.
이어서 엔비디아 수석 아키텍트이자 AOMedia 비디오 코덱 워킹그룹 공동 의장인 Andrey Norkin이 AV2 비디오 코덱 기술에 관한 발표를 진행했다.
원탁 토론: 퍼스널 에이전트, 다음 세대 개인 엔트리 포인트가 될 것인가?
아고라 공동창업자 Tony Wang이 진행한 첫 번째 원탁에서는 인터랙티브 미디어 프로덕트 매니저이자 테크 블로거인 Eugene Wei, 테크 미디어인이자 팟캐스트 『난번서(乱翻书)』의 진행자 판란(潘乱), 그리고 AIoT 하드웨어 창업자이자 엣지 AI 미디어 운영자 화젠신(华建新)이 '퍼스널 에이전트: 새로운 도구에서 새로운 엔트리 포인트로?'를 주제로 토론했다.
휴대폰, 안경, 이어폰에서 더 많은 웨어러블 기기에 이르기까지, 퍼스널 에이전트는 다음 세대 휴먼-머신 인터랙션 엔트리 포인트에 대한 업계의 사고를 다시 불러일으키고 있다. 판란은 퍼스널 에이전트가 하나의 패러다임 전환을 가져올 수 있다고 보았다. 즉, AI 제품의 가치가 사용자의 주의를 빼앗는 경쟁에서 사용자가 과제를 더 효율적으로 완수하도록 돕는 것으로 이동하고 있다는 것이다. 미래의 퍼스널 에이전트는 명확한 지시에 응답하는 것뿐만 아니라 능동적으로 과제를 떠맡아, 목표는 분명하지만 많은 시간을 투자할 가치가 없는 업무를 사용자 대신 처리해야 한다.
다음 세대 개인 하드웨어에 대해, 화젠신은 미래의 엔트리 포인트가 반드시 특정 기기 하나가 독점하지 않을 것이며, 안경, 이어폰 및 환경을 감지하고 과제를 수행할 수 있는 다른 하드웨어 모두 기회가 있다고 제시했다. 그는 퍼스널 에이전트가 사용자를 이해할 필요가 있을 뿐만 아니라 물리적 기기를 통해 현실 세계를 지속적으로 감지하고 행동해야 하며, 이것이 다양한 형태의 하드웨어에 새로운 발전 공간을 가져다준다고 보았다.
Eugene Wei는 논의를 '맥락(context)'의 가치로 이끌었다. 퍼스널 에이전트가 사용자의 관심사, 소통 기록, 사회적 관계를 진정으로 이해할 수 있는지가 그것이 가치 있는 개인 엔트리 포인트가 될 수 있는지를 좌우할 것이라는 것이다. 새로운 엔트리 포인트가 성립하는지를 판단할 때, 그는 사용자가 매일 Agent와 상호작용하는 상황, 그리고 사용자가 먼저 Agent를 찾는 경우가 많은지 아니면 Agent가 먼저 사용자를 찾는 경우가 많은지를 주목할 수 있다고 제안했다. 원탁에서는 이어서 퍼스널 에이전트의 제품 가치, 하드웨어 형태와 미래 평가 기준을 더 논의했다.
원탁 토론: '대화할 수 있는' 것에서 '일을 해낼 수 있는' 것으로, 대화형 AI는 어떻게 실질적 가치를 창출하는가?
아고라 최고비즈니스책임자 cui 보(崔博)가 진행한 두 번째 원탁에서는 샤에스마트(斜跃智能) 창업자 천웨이(陈伟), 관커트라웬(冠客科技) 창업자 갱샹레이(耿祥磊), Rokid 러치(乐奇) 공동창업자 겸 생태계 담당 차이궈샹(蔡国祥), 그리고 타이탄치밍(泰坦启明) CEO 우칸(吴侃)이 엠보디드 AI, 스마트 웨어러블, 기업 마케팅, AI 채용 등 다양한 상황에서 출발하여 대화형 AI: 다음 세대의 사람과 Agent 상호작용을 견인하다를 논의했다.
천웨이는 엠보디드 AI의 핵심은 사람의 의도를 진정으로 로봇의 행동으로 전환하는 것이라고 보았다. 로봇은 음성 지시를 이해할 뿐만 아니라 시각, 음성, 자기 상태 등 다양한 모달리티 정보를 융합하여 물리적 환경에 대한 지각, 계획, 의사결정을 완수하고, 행동 이후의 환경 변화에 따라 과제 수행을 지속적으로 조정해야 한다. 사전에 설정된 시연 과제를 완수하는 것보다 더 중요한 것은, 로봇이 개방된 환경에서 사람의 진짜 수요를 지속적으로 이해하고 행동이 항상 사람의 의도와 일치하도록 유지하는 것이다. 샤에스마트가 개발 중인 Duplex Reasoning이라는 새로운 패러다임의 엠보디드 파운데이션 모델은 로봇의 상호작용과 행동의 일체화를 실현하는 것을 목표로 한다.
차이궈샹은 AI 안경의 실천 경험에서 출발하여, 대화 경험이 AI 웨어러블 기기의 핵심 경쟁력이라고 강조했다. 그는 하드웨어와 그 이면의 AI 능력이 아무리 강력하더라도 대화가 자연스럽지 않으면 사용자 경험이 직접적인 영향을 받는다고 말했다. 미래의 AI 웨어러블 기기는 낮은 지연, 안정적인 실시간 상호작용, 그리고 의미와 장기 맥락에 대한 이해를 통해 사용자가 점차 AI와 대화하고 있다는 것을 느끼지 못하게 해야 한다고 그는 말했다. 그는 또한 Rokid 러치 AI 어시스턴트가 아고라 RTC 링크 서비스를 채택한 실천 사례를 공유하며, AI 안경이 AI 시대의 중요한 개인 엔트리 포인트가 되리라고 전망했다.
기업 응용 상황에서 갱샹레이는 AI 음성 상담사(에이전트)가 신뢰할 수 있는 업무 수행을 실현하려면 지연, 끼어들기 타이밍, 의인화 등의 문제를 해결해야 하며, 그중 지연은 심지어 과제 결과에 직접 영향을 줄 수 있다고 지적했다. To B 마케팅의 경우, AI는 업계 지식 체계 및 사람과의 협업과 결합되어야 비로소 업무 결과를 더 잘 보장할 수 있다. 우칸은 AI 채용 실천 경험을 바탕으로, 대화형 AI가 채용 업무에서 대규모로 구직자에게 도달하고 서비스 효율을 높이는 데 도움을 줄 수 있으며, 단순히 인력을 대체하는 것이 아니라고 말했다. 업무의 선순환을 형성하려면 업계 데이터를 축적하고, 구직자를 주체로 삼아 업무를 정리하며, Agent가 장기 기억을 구축하도록 돕고, 면접 도달, 입사 등 실제 업무 이벤트를 중심으로 AI가 서비스 품질을 지속적으로 평가하고 최적화하도록 지원해야 한다.
네 위빈 게스트의 발표에서 볼 수 있듯이, 서로 다른 산업이 대화형 AI에 요구하는 사항에는 차이가 있지만, 공통적으로 한 방향을 가리키고 있습니다. AI는 단순히 소통할 수 있을 뿐만 아니라 실제 시나리오를 이해하고 기존 비즈니스 프로세스에 통합되며 임무를 안정적으로 수행할 수 있어야 한다는 것입니다. 실시간 상호작용, 멀티모달 감지 및 Agent 실행 능력이 지속적으로 발전함에 따라, 대화형 AI는 상호작용 도구에서 한 걸음 더 나아가 디지털 세계와 물리적 세계를 연결하고 비즈니스 운영을 추진하는 중요한 힘이 될 것으로 기대됩니다.
실시간 상호작용에서 실시간 지능으로, 대화 AGI의 다음 장을 열다
자오빈(赵斌)이 제시한 5단계 대화 능력 프레임워크에서부터 개인 지능형 에이전트와 실제 비즈니스 적용을 다룬 두 번의 원탁 토론에 이르기까지, iRTE2026 메인 포럼은 하나의 명확한 산업 트렌드를 보여주었습니다. 대화형 AI의 경쟁이 기초 모델 능력에서 맥락 이해, 실시간 상호작용, 복잡한 관계 인지 및 임무 수행으로 확장되고 있다는 것입니다.
AI가 더 이상 수동적으로 답변하는 데 머무르지 않고 사람을 지속적으로 이해하고 능동적으로 소통에 참여하며 실제 시나리오에서 임무를 완수할 수 있게 될 때, 실시간 상호작용 기술 역시 더 깊은 사명을 떠안게 될 것입니다.
대화 AGI의 다음 단계를 향해, 성왕(声网)은 개발자 및 업계 파트너와 함께 실시간 상호작용과 생성형 AI의 융합을 지속적으로 탐구하고, 사람과 사람, 사람과 Agent 간에 더욱 자연스럽고 효율적인 실시간 상호작용 경험을 실현해 나갈 것입니다.
본 글은 성왕(声网)이 제공했으며, 챤쯔웨이(量子位)가 전재 허가를 받았고, 견해의 저작권은 원저자에게 있습니다.