Le 23 octobre, la conférence iRTE2026 sur l'intelligence en temps réel s'est tenue à Pékin. Zhao Bin, fondateur et PDG de Shengwang (Agora), a prononcé lors du forum principal une conférence intitulée « Vers l'AGI conversationnelle : le prochain chapitre de l'interaction en temps réel », dans laquelle il a passé en revue les évolutions clés de l'année écousée en matière d'interaction en temps réel, d'IA conversationnelle et d'infrastructure sous-jacente, et a proposé un cadre de « cinq niveaux de capacités conversationnelles », traçant le chemin évolutif de l'IA conversationnelle, depuis la réponse de base jusqu'à la compréhension approfondie et la communication relationnelle.
Selon Zhao Bin, à mesure que l'IA passe de la réponse aux questions à l'échange continu, à la compréhension du contexte et à l'exécution de tâches, l'objet de l'interaction en temps réel s'étend de la relation entre personnes à la relation entre l'humain et les Agents. Le rôle des technologies d'interaction en temps réel s'étend également : elles doivent non seulement rendre la transmission de l'information plus stable et plus fluide, mais aussi fournir un soutien en temps réel à la perception, à la compréhension, à l'expression et à l'action de l'IA.
De « une question, une réponse » à la communication relationnelle approfondie : l'évolution en cinq niveaux de l'AGI conversationnelle
Aux yeux de Zhao Bin, le progrès de l'IA conversationnelle ne doit pas se mesurer uniquement par la vitesse de réponse ou la naturalité du langage. Plus important encore, il faut savoir si elle peut comprendre les intentions, la situation et les relations de son interlocuteur, s'exprimer de manière appropriée dans des scénarios complexes, et progressivement développer une compréhension durable et approfondie.
Autour de ce constat, Zhao Bin a proposé dans sa conférenceun cadre de « cinq niveaux de capacités conversationnelles », divisant les capacités conversationnelles en cinq niveaux :
L1 :Expression basée sur sa propre perspective : principalement auto-expression et enchaînement passif, réalisant « une question, une réponse ».
L2 :Expression basée sur les règles d'interaction : de la réponse passive vers l'expression active, rendant la conversation plus naturelle et cohérente.
L3 :Communication basée sur la cognition individuelle : comprendre l'identité, les intentions et la situation de l'individu, pour une communication adaptée à chacun.
L4 :Communication basée sur la cognition collective : comprendre les relations sociales et les différences de rôles, s'adapter à des scénarios de communication multi-personnes complexes.
L5 :Communication basée sur les relations profondes : comprendre le contexte à long terme et l'évolution des relations, développer une compréhension plus profonde et une complicité de pensée, faisant passer la communication de la compréhension du moment présent à celle d'une personne.
Ces cinq niveaux ne montrent pas seulement le renforcement progressif des technologies conversationnelles, mais aussi l'évolution de la relation entre l'IA et l'humain : d'un échange de questions-réponses, à la compréhension d'une personne, puis à celle des relations entre personnes, pour aboutir à une communication profonde à travers le temps et les situations.
Zhao Bin souligne que l'IA conversationnelle évolue des interactions passives précoces vers une conversation duplex intégral, plus active et plus naturelle, et commence à tenter de comprendre la personnalité, la situation, les émotions et les relations de chacun. À l'avenir, l'IA devra encore dépasser la division des rôles et l'ordre de communication dans les scénarios sociaux complexes, et mieux comprendre le contexte accumulé à long terme de chaque individu. C'est là une direction majeure de l'AGI conversationnelle : l'IA doit non seulement comprendre une phrase, mais aussi, en s'appuyant sur le contexte complet, saisir l'intention réelle d'une personne et y répondre de manière appropriée.
Real-Time AI Infra : l'infrastructure clé soutenant l'AGI conversationnelle
L'évolution continue des capacités conversationnelles impose également des exigences plus élevées aux technologies sous-jacentes.
Zhao Bin mentionne dans sa conférence que, durant l'année écousée, l'adoption approfondie de la technologie WebRTC par OpenAI et d'autres entreprises a favorisé une attention et des applications plus larges des technologies d'interaction en temps réel dans le domaine de l'IA conversationnelle. À mesure que l'IA passe du问答 en tour unique à l'interaction continue,l'infrastructure d'interaction en temps réeldevient un support technique essentiel reliant les modèles, les cadres d'exécution des agents et les utilisateurs.
Par rapport aux applications d'IA traditionnelles, les scénarios conversationnels imposent des exigences plus strictes en matière de latence, de stabilité et d'interaction bidirectionnelle. L'IA doit recevoir les entrées de l'utilisateur tout en comprenant le contexte, en organisant ses réponses, en gérant à tout moment les interruptions et en appelant continuellement des outils pour faire avancer les tâches. Tout retard notable à un maillon de la chaîne peut compromettre la naturalité de la conversation, voire affecter l'accomplissement de la tâche.
Pour répondre à ces besoins, Zhao Bin a présenté une orientation d'infrastructure dédiée à l'interaction intelligente en temps réel : grâce à un réseau mondial de transmission en temps réel, à l'inférence distribuée conjointe cloud-edge-terminal, à l'orchestration en temps réel et aux capacités d'interaction duplex intégral, les modèles et les Agents peuvent collaborer de manière continue dans des scénarios réels. Le moteur d'IA conversationnelle de Shengwang (Agora), centré sur l'interaction duplex intégral, relie les modèles, les cadres d'exécution d'Agents et les utilisateurs, soutenant une expérience de conversation en temps réel stable et synchronisée.
Parallèlement, Leiifeng.com (Leiifeng Wang, compte officiel : Leiifeng Wang) a appris que Shengwang (Agora) continue d'améliorer ses outils et kits de développement d'IA conversationnelle destinés aux développeurs, en combinant des capacités telles que les SDK, Skills, outils CLI et Recipes, afin d'aider les développeurs à construire plus efficacement des Agents dotés d'une logique complète et de capacités d'exécution.
Du service client à l'éducation, en passant par la compagnie IA et les appareils connectés intelligents, Zhao Bin estime que l'IA conversationnelle entre dans un nombre croissant de scénarios réels. La capacité de l'IA à créer de la valeur réelle ne dépend pas seulement de savoir si le modèle « sait parler », mais aussi de sa capacité à comprendre les besoins, à communiquer naturellement et à accomplir les tâches de manière continue. Les technologies d'interaction en temps réel joueront un rôle de plus en plus important dans ce processus.
Ensuite, Andrey Norkin, architecte en chef chez NVIDIA et coprésident du groupe de travail sur les codecs vidéo de l'AOMedia, a donné une conférence sur la technologie de codec vidéo AV2.
Table ronde : les agents personnels deviendront-ils le prochain point d'entrée personnel ?
Lors de la première table ronde animée par Tony Wang, cofondateur de Agora (Shengwang), le product manager de médias interactifs et blogueur technologique Eugene Wei, Pan Lu, créateur de médias indépendants technologiques et animateur du podcast « Luan Fan Shu », ainsi que Hua Jianxin, entrepreneur dans le matériel AIoT et animateur de médias sur l'IA embarquée (edge AI), ont débattu autour du thème « Agent personnel : du nouvel outil au nouveau point d'entrée ? ».
Des téléphones aux lunettes, en passant par les écouteurs et d'autres appareils portables, les agents personnels relancent la réflexion du secteur sur le point d'entrée de la prochaine génération d'interaction homme-machine. Pan Lu estime que l'agent personnel pourrait provoquer un changement de paradigme : la valeur des produits d'IA passe de la conquête de l'attention des utilisateurs à l'aide apportée à ceux-ci pour accomplir leurs tâches plus efficacement. L'agent personnel du futur devra non seulement répondre à des指令 explicites, mais aussi prendre en charge des tâches de manière proactive, aidant les utilisateurs à traiter les affaires aux objectifs clairs mais qui ne méritent pas d'y consacrer beaucoup de temps.
Concernant le matériel personnel de prochaine génération, Hua Jianxin propose que le point d'entrée du futur ne soit pas nécessairement monopolisé par un seul type d'appareil : les lunettes, les écouteurs et d'autres matériels capables de percevoir l'environnement et d'exécuter des tâches ont tous leur chance. Selon lui, l'agent personnel doit non seulement comprendre l'utilisateur, mais aussi percevoir en continu le monde réel et agir via des appareils physiques, ce qui ouvre de nouveaux espaces de développement pour différentes formes de matériel.
Eugene Wei a quant à lui orienté la discussion vers la valeur du « contexte » : la capacité d'un agent personnel à réellement comprendre les intérêts, les communications et les relations sociales de l'utilisateur déterminera s'il peut devenir un point d'entrée personnel de valeur. Pour évaluer si un nouveau point d'entrée est viable, il suggère également de surveiller les interactions quotidiennes des utilisateurs avec l'Agent, ainsi que de déterminer si c'est l'utilisateur qui cherche le plus souvent l'Agent, ou l'Agent qui cherche le plus souvent l'utilisateur. La table ronde a ainsi approfondi la valeur produit des agents personnels, leurs formes matérielles et les futurs critères d'évaluation.
Table ronde : de « savoir discuter » à « savoir agir », comment l'IA conversationnelle crée-t-elle une valeur réelle ?
Lors de la deuxième table ronde animée par Cui Bo, directeur commercial (CCO) de Agora (Shengwang), Chen Wei, fondateur de Xieyue Intelligent, Geng Xianglei, fondateur de Guanke Technology, Cai Guoxiang, cofondateur et responsable de l'écosystème de Rokid Leqi, ainsi que Wu Kan, CEO de Titan Qiming, ont exploré, à partir de scénarios variés tels que l'intelligence incarnée, les objets connectés portables, le marketing d'entreprise et le recrutement par IA, le thème de l'IA conversationnelle comme moteur de l'interaction homme-Agent de la prochaine génération.
Chen Wei estime que la clé de l'intelligence incarnée est de transformer réellement l'intention humaine en actions du robot. Le robot doit non seulement comprendre les instructions vocales, mais aussi fusionner des informations multimodales telles que la vision, la voix et son propre état, accomplir la perception, la planification et la prise de décision concernant l'environnement physique, et ajuster continuellement l'exécution des tâches en fonction des changements environnementaux résultant de ses actions. Plutôt que d'accomplir des tâches de démonstration prédéfinies, il est plus important pour le robot de comprendre en continu les besoins réels des humains dans un environnement ouvert, afin que ses actions restent toujours alignées avec les intentions humaines. Xieyue Intelligent développe actuellement Duplex Reasoning, un nouveau paradigme de modèle de fondation incarné visant à unifier l'interaction et l'action des robots.
Cai Guoxiang, s'appuyant sur la pratique des lunettes IA, souligne que l'expérience conversationnelle est la compétitivité clé des dispositifs d'IA portables. Il affirme que, quelle que soit la puissance du matériel et des capacités d'IA sous-jacentes, si la conversation n'est pas assez naturelle, l'expérience utilisateur en sera directement affectée. À l'avenir, les dispositifs d'IA portables devront, grâce à des interactions en temps réel à faible latence et stables, ainsi qu'à la compréhension de la sémantique et du contexte à long terme, amener progressivement les utilisateurs à ne plus percevoir qu'ils dialoguent avec une IA. Il a également partagé la pratique de l'assistant IA de Rokid Leqi utilisant les services de liens RTC de Agora (Shengwang), et se montre confiant quant au fait que les lunettes IA deviendront un important point d'entrée personnel de l'ère de l'IA.
Dans les scénarios d'application en entreprise, Geng Xianglei a souligné que, pour que les agents vocaux IA assurent une livraison fiable des services, il faut résoudre des problèmes tels que la latence, le moment des interruptions et l'anthropomorphisme, la latence pouvant même affecter directement le résultat des tâches. Pour le marketing B2B, l'IA doit également se combiner aux systèmes de connaissances sectoriels et à la collaboration humaine afin de mieux garantir les résultats commerciaux. Wu Kan, s'appuyant sur sa pratique du recrutement par l'IA, a indiqué que l'IA conversationnelle permet aux activités de recrutement d'atteindre les candidats à grande échelle et d'améliorer l'efficacité des services, plutôt que de simplement remplacer les humains. Pour former une boucle commerciale complète, il faut encore accumuler des données sectorielles, structurer l'activité autour du candidat comme entité centrale, aider l'Agent à construire une mémoire à long terme et, autour d'événements commerciaux réels tels que les entretiens et l'embauche, accompagner l'IA dans l'évaluation et l'optimisation continues de la qualité des services.
Des interventions des quatre invités, on peut voir que si les exigences en matière d'IA conversationnelle diffèrent selon les secteurs, elles convergent toutes vers une même direction : l'IA ne doit pas seulement être capable de communiquer, elle doit aussi comprendre les scénarios réels, s'intégrer aux processus métier existants et accomplir les tâches de manière fiable. Avec le développement continu de l'interaction en temps réel, de la perception multimodale et des capacités d'exécution des Agents, l'IA conversationnelle est appelée à passer du statut d'outil d'interaction à celui de force majeure reliant le monde numérique au monde physique et faisant tourner les activités.
De l'interaction en temps réel à l'intelligence en temps réel : ouvrir le prochain chapitre de l'AGI conversationnelle
Du cadre des cinq niveaux de capacité conversationnelle proposé par Zhao Bin aux deux tables rondes sur les agents personnels et le déploiement métier réel, le forum principal iRTE2026 a mis en évidence une tendance sectorielle claire : la compétition de l'IA conversationnelle s'étend des capacités des modèles fondamentaux à la compréhension du contexte, à l'interaction en temps réel, à la reconnaissance des relations complexes et à l'exécution des tâches.
Lorsque l'IA ne se limite plus à répondre passivement, mais est capable de comprendre continuellement les personnes, de participer activement aux échanges et d'accomplir des tâches dans des scénarios réels, les technologies d'interaction en temps réel assumeront également une mission plus profonde.
Pour la prochaine étape de l'AGI conversationnelle, Agora continuera d'explorer, avec les développeurs et les partenaires du secteur, la fusion de l'interaction en temps réel et de l'IA générative, afin de promouvoir des expériences d'interaction en temps réel plus naturelles et plus efficaces entre les personnes et entre les personnes et les Agents.
Article original de Leifeng Wang, reproduction interdite sans autorisation. Pour plus de détails, voirConditions de republication。