10월 23일, iRTE2026 실시간 지능 컨퍼런스가 베이징에서 개최되었다. 성왕(声网) 창업자 겸 CEO 자오빈은 메인 포럼에서 「대화 AGI: 실시간 인터랙션의 다음 장」이라는 제목의 기조연설을 통해 지난 1년간 실시간 인터랙션, 대화형 AI 및 기반 인프라의 핵심 변화를 돌아보며, “5단계 대화 능력” 프레임워크를 제시하고 대화형 AI가 기초 응답에서 심층 이해와 관계 소통으로 나아가는 진화 경로를 그려냈다.
자오빈은 AI가 질문에 답하는 단계를 넘어 지속적인 교류, 맥락 이해 및 과제 수행으로 나아가면서 실시간 인터랙션의 대상이 사람과 사람에서 사람과 Agent로 확장되고 있다고 보았다. 실시간 인터랙션 기술의 역할도 그에 따라 확장된다. 정보 전달을 더 안정적이고 원활하게 할 뿐만 아니라 AI의 지각, 이해, 표현 및 행동에 실시간 지원을 제공해야 한다.
“한 마디 묻고 한 마디 답하기”에서 깊은 관계 소통까지: 대화 AGI의 5단계 진화
자오빈의 견해로는 대화형 AI의 발전은 응답 속도와 언어의 자연스러움만으로 측정해서는 안 된다. 더 중요한 것은 대화 상대의 의도, 상황과 관계를 이해할 수 있는지, 복잡한 시나리오에서 적절하게 표현할 수 있는지, 그리고 점진적으로 장기적이고 깊이 있는 이해를 형성할 수 있는지이다.
이러한 판단을 바탕으로 자오빈은 연설에서 제시했다“5단계 대화 능력” 프레임워크, 대화 능력을 다섯 개의 층위로 나누었다:
L1:자기 관점에 기반한 표현: 자기 표현과 수동적 이어가기가 주를 이루며 “한 마디 묻고 한 마디 답하기”를 실현한다.
L2:상호작용 규칙에 기반한 표현: 수동적 응답에서 능동적 표현으로 나아가 대화를 더 자연스럽고 일관되게 만든다.
L3:개인 인지에 기반한 소통: 개인의 정체성, 의도와 상황을 이해하여 사람에 따라 다른 소통을 실현한다.
L4:집단 인지에 기반한 소통: 사회적 관계와 역할 차이를 이해하여 복잡한 다자간 소통 시나리오에 적응한다.
L5:깊은 관계에 기반한 소통: 장기적 맥락과 관계의 변화를 이해하여 더 깊은 수준의 이해와 사고의 호흡을 형성하며, 소통이 현재를 이해하는 것에서 한 사람을 이해하는 것으로 나아가게 한다.
이 다섯 개의 층위가 보여주는 것은 대화 기술의 단계적 강화뿐만 아니라 AI와 사람 사이의 관계 변화이기도 하다. 한 번의 질의응답을 완성하는 것에서 한 사람을 이해하는 것으로, 다시 사람과 사람 사이의 관계를 이해하는 것으로, 나아가 시간과 상황을 넘나드는 깊은 소통을 형성하기까지이다.
자오빈은 대화형 AI가 초기의 수동적 이어가기 상호작용에서 더 능동적이고 자연스러운 전이중(full-duplex) 대화로 발전하고 있으며, 사람의 개성, 상황, 감정과 관계를 이해하려 시도하기 시작했다고 지적했다. 미래를 향해 AI는 복잡한 사회적 시나리오에서의 역할 분담과 소통 질서를 돌파하고 개인이 장기간 축적한 맥락을 더 깊이 이해해야 한다. 이것이 바로 대화 AGI의 중요한 발전 방향이다. AI는 한 문장을 알아들을 수 있을 뿐만 아니라 완전한 맥락과 결합하여 한 사람의 진짜 의도를 이해하고 적절한 대응을 할 수 있어야 한다.
Real-Time AI Infra: 대화 AGI를 뒷받침하는 핵심 인프라
대화 능력의 지속적인 진화는 기반 기술에도 더 높은 요구를 제기한다.
자오빈은 연설에서 지난 1년간 OpenAI 등 회사들의 WebRTC 기술에 대한 깊이 있는 채택이 실시간 인터랙션 기술이 대화형 AI 분야에서 더 폭넓은 관심과 응용을 얻도록 추동했다고 언급했다. AI가 단발성 질의응답에서 지속적인 상호작용으로 나아가면서실시간 인터랙션 인프라가 모델, 에이전트 실행 프레임워크와 사용자를 연결하는 중요한 기술적 지지대가 되고 있다.
전통적인 AI 애플리케이션과 비교할 때, 대화 시나리오는 지연, 안정성 및 양방향 상호작용에 대해 더 엄격한 요구를 갖는다. AI는 사용자 입력을 받는 동시에 맥락을 이해하고 응답을 구성해야 하며, 필요시 언제든 끼어들기에 대응하고 지속적으로 도구를 호출하며 과제를 추진해야 한다. 어떤 단계에서든 뚜렷한 지연이 발생하면 대화의 자연스러움이 깨질 수 있고, 심지어 과제 완수 가능 여부에도 영향을 미칠 수 있다.
이러한 요구를 뒷받침하기 위해 자오빈은 실시간 지능형 인터랙션을 위한 인프라 방향을 소개했다. 글로벌 실시간 전송 네트워크, 분산형 클라우드-엣지-엔드 연합 추론, 실시간 오케스트레이션 및 전이중 상호작용 능력을 통해 모델과 Agent가 실제 시나리오에서 지속적으로 협업할 수 있도록 한다. 성왕의 대화형 AI 엔진 역시 전이중 상호작용을 핵심으로 하여 모델, Agent 실행 프레임워크와 사용자를 연결하고 안정적이고 동기화된 실시간 대화 경험을 지원한다.
이와 동시에 라이펑왕(雷峰网, 공식 계정: 雷峰网)은 알게 되었다. 성왕은 개발자를 위해 대화형 AI 개발 도구와 개발 키트를 지속적으로 개선하여 SDK, Skills, CLI 도구 및 Recipes 등의 능력과 결합해 개발자가 완전한 논리와 실행 능력을 갖춘 Agent를 더 효율적으로 구축하도록 돕고 있다.
고객 서비스, 교육에서 AI 동반자와 스마트 웨어러블에 이르기까지, 자오빈은 대화형 AI가 더 많은 실제 시나리오에 진입하고 있다고 보았다. AI가 진정으로 가치를 창출할 수 있는지는 모델이 “말할 줄 아는지”에만 달려 있는 것이 아니라, 수요를 이해하고 자연스럽게 소통하며 과제를 지속적으로 완수할 수 있는지에도 달려 있다. 실시간 인터랙션 기술은 이 과정에서 점점 더 중요한 역할을 하게 될 것이다.
이어서 엔비디아 수석 아키텍트이자 AOMedia 비디오 코덱 워킹그룹 공동 의장인 Andrey Norkin이 AV2 비디오 코덱 기술에 관한 강연을 선보였다.
원탁 대화: 개인 AI 에이전트, 다음 세대 개인 입구가 될 수 있을까?
성망(Agora) 공동창업자 Tony Wang이 진행한 첫 번째 원탁에서는 인터랙티브 미디어 프로덕트 매니저이자 테크 블로거 Eugene Wei, 테크 미디어인이자 팟캐스트 《난번서(乱翻书)》 운영자 Pan Luan, AIoT 하드웨어 창업자이자 엣지 AI 미디어 운영자 Hua Jianxin이 '개인 AI 에이전트: 새로운 도구에서 새로운 입구로?'를 주제로 토론을 진행했다.
스마트폰, 안경, 이어폰에서 더 많은 웨어러블 기기에 이르기까지, 개인 AI 에이전트는 다음 세대 휴먼-머신 인터랙션 입구에 대한 업계의 사고를 다시 불러일으키고 있다. Pan Luan은 개인 AI 에이전트가 하나의 패러다임 전환을 가져올 수 있다고 보았다. 즉, AI 제품의 가치가 사용자의 주의를 두고 경쟁하는 것에서 사용자가 더 효율적으로 작업을 완료하도록 돕는 쪽으로 이동하고 있다는 것이다. 미래의 개인 AI 에이전트는 명시적인 지시에 응답하는 것뿐만 아니라 능동적으로 작업을 떠맡아, 목표는 명확하지만 많은 시간을 들일 가치가 없는 일을 사용자 대신 처리해 주어야 한다.
다음 세대 개인 하드웨어에 대해 Hua Jianxin은 미래의 입구가 반드시 특정 한 가지 기기가 독점하지 않을 것이며, 안경, 이어폰 및 환경을 인식하고 작업을 수행할 수 있는 기타 하드웨어 모두 기회가 있다고 제안했다. 그는 개인 AI 에이전트가 사용자를 이해하는 것뿐만 아니라 물리적 기기를 통해 현실 세계를 지속적으로 인식하고 행동해야 하며, 이것이 다양한 형태의 하드웨어에 새로운 발전 공간을 가져다준다고 보았다.
Eugene Wei는 논의를 '컨텍스트'의 가치로 이끌었다. 개인 AI 에이전트가 사용자의 관심사, 커뮤니케이션 기록 및 사회적 관계를 진정으로 이해할 수 있는지가 가치 있는 개인 입구가 될 수 있는지를 좌우할 것이다. 새로운 입구가 성립하는지를 판단할 때, 사용자가 매일 에이전트와 상호작용하는 상황, 그리고 사용자가 먼저 에이전트를 찾는 경우가 많은지 아니면 에이전트가 먼저 사용자를 찾는 경우가 많은지에 주목할 수 있다고 그는 제안했다. 원탁은 이어서 개인 AI 에이전트의 제품 가치, 하드웨어 형태와 미래의 측정 기준을 더 논의했다.
원탁 대화: '대화할 수 있는' 것에서 '일을 할 수 있는' 것으로, 대화형 AI는 어떻게 실질적인 가치를 창출할 수 있을까?
성망(Agora) 최고사업책임자 Cui Bo가 진행한 두 번째 원탁에서는 Xieyue Intelligence 창업자 Chen Wei, Guanke Technology 창업자 Geng Xianglei, Rokid 공동창업자 겸 생태계 책임자 Cai Guoxiang, Titan Qiming CEO Wu Kan이 엠바디드 AI, 스마트 웨어러블, 기업 마케팅, AI 채용 등 서로 다른 시나리오에서 출발해 대화형 AI: 다음 세대의 인간과 에이전트 상호작용을 주도하다를 논의했다.
Chen Wei는 엠바디드 AI의 핵심은 사람의 의도를 진정으로 로봇의 행동으로 전환하는 것이라고 보았다. 로봇은 음성 지시를 이해할 뿐만 아니라 시각, 음성 및 자기 상태 등 다양한 모달리티 정보를 융합하여 물리적 환경에 대한 인식, 계획과 의사결정을 완료하고, 행동 이후의 환경 변화에 따라 작업 수행을 지속적으로 조정해야 한다. 사전에 설정된 시연 작업을 완수하는 것보다 더 중요한 것은 로봇이 개방된 환경에서 사람의 진짜 필요를 지속적으로 이해하여, 행동이 항상 사람의 의도와 일치하도록 하는 것이다. Xieyue Intelligence가 개발 중인 Duplex Reasoning이라는 전혀 새로운 패러다임의 엠바디드 파운데이션 모델은 로봇의 상호작용과 행동의 일체화를 실현하는 것을 목표로 한다.
Cai Guoxiang은 AI 안경의 실천에서 출발하여, 대화 경험이 AI 웨어러블 기기의 핵심 경쟁력이라고 강조했다. 그는 하드웨어와 그 이면의 AI 능력이 아무리 강력하더라도 대화가 충분히 자연스럽지 않으면 사용자 경험에 직접적인 영향을 미친다고 말했다. 미래의 AI 웨어러블 기기는 낮은 지연 시간과 안정적인 실시간 상호작용, 그리고 의미와 장기 컨텍스트에 대한 이해를 통해 사용자가 점차 AI와 대화하고 있다는 것을 느끼지 못하게 해야 한다고 그는 밝혔다. 그는 또한 Rokid AI 어시스턴트가 성망(Agora) RTC 링크 서비스를 채택한 실제 사례를 공유했으며, AI 안경이 AI 시대의 중요한 개인 입구가 될 것으로 전망했다.
기업 활용 시나리오에서 겡샹레이(耿祥磊)는 AI 음성 상담 에이전트가 신뢰할 수 있는 업무 수행을 실현하려면 지연 시간, 끼어들기 타이밍, 의인화 등의 문제를 해결해야 하며, 그중 지연 시간은 과업 결과에 직접적인 영향을 미칠 수도 있다고 지적했다. To B 마케팅의 경우, AI는 업계 지식 체계 및 인간과의 협업과 결합되어야만 업무 결과를 더 잘 보장할 수 있다. 우칸(吴侃)은 AI 채용 실무를 예로 들며, 대화형 AI는 단순히 인력을 대체하는 것이 아니라 채용 업무가 대규모로 구직자에게 도달하고 서비스 효율을 높이는 데 도움을 줄 수 있다고 밝혔다. 업무 폐쇄 루프를 형성하려면 업계 데이터를 축적하고, 구직자를 중심으로 업무를 정리하며, Agent가 장기 기억을 구축하도록 돕고, 면접 도달, 입사 등 실제 업무 이벤트를 중심으로 AI가 서비스 품질을 지속적으로 평가하고 최적화하도록 지원해야 한다.
네 위원회 발표에서 볼 수 있듯이, 업계마다 대화형 AI에 대한 요구 사항에는 차이가 있지만, 공통적으로 한 방향을 가리키고 있다. 즉, AI는 단순히 대화할 수 있을 뿐만 아니라 실제 시나리오를 이해하고 기존 업무 프로세스에 융합되며 과업을 신뢰할 수 있게 완수할 수 있어야 한다는 것이다. 실시간 상호작용, 멀티모달 감지, Agent 실행 능력이 지속적으로 발전함에 따라, 대화형 AI는 상호작용 도구에서 더 나아가 디지털 세계와 물리적 세계를 연결하고 업무 운영을 추진하는 중요한 힘으로 성장할 것으로 기대된다.
실시간 상호작용에서 실시간 지능으로, 대화 AGI의 다음 장을 열다
자오빈(赵斌)이 제안한 5단계 대화 능력 프레임워크부터 개인 지능 에이전트와 실제 업무 적용을 논의한 두 번의 원탁 회의까지, iRTE2026 메인 포럼은 하나의 명확한 산업 트렌드를 보여주었다. 대화형 AI의 경쟁이 기반 모델 능력에서 맥락 이해, 실시간 상호작용, 복잡한 관계 인지 및 과업 실행으로 확장되고 있다는 것이다.
AI가 더 이상 수동적으로 답변하는 데 국한되지 않고, 인간을 지속적으로 이해하고 능동적으로 대화에 참여하며 실제 시나리오에서 과업을 완수할 수 있게 될 때, 실시간 상호작용 기술도 더 깊은 사명을 떠안게 될 것이다.
대화 AGI의 다음 단계를 향해, 성왕(声网, Agora)은 개발자 및 업계 파트너와 함께 실시간 상호작용과 생성형 AI의 융합을 지속적으로 탐구하고, 사람과 사람, 사람과 Agent 간의 더욱 자연스럽고 효율적인 실시간 상호작용 경험을 추진해 나갈 것이다.
레이펑왕(雷峰网) 오리지널 기사로, 무단 전재를 금지합니다. 자세한 내용은전재 안내。