Par Wenle, depuis Aofeisi
QbitAI | Compte officiel QbitAI
Ce n'est pas moi qui le dis : l'IA écrit désormais du code à toute vitesse et mène des recherches impressionnantes ;
Mais dès qu'il s'agit de discuter par la voix, je voudrais poser une question :
Qu'est-ce qu'elle a à être si pressée ?!!
Tu n'as pas fini ta phrase, elle s'est déjà empressée de parler ; tu montes en émotion, elle continue de réciter sa réponse d'un ton monocorde ; tu veux l'interrompre pour changer de sujet, elle s'obstine à finir sa dernière phrase…
Ce n'est pas de la conversation, ça, c'est une pure lutte de pouvoir.
△Image générée par IA
Pour tout dire, l'étape de l'IA « qui sait parler » est dépassée depuis longtemps, mais celle de l'IA « qui sait discuter » est encore loin d'être franchie.
Pour savoir discuter, elle devrait comprendre les émotions et le sens caché des mots, suivre votre rythme de parole, et vous laisser la parole dès que vous l'interrompez.
Ces petits désagréments d'expérience, en apparence insignifiants, impliquent en réalité toute une chaîne : reconnaissance vocale, compréhension du modèle, transmission en temps réel, réponse du terminal.
Si un seul maillon est lent, toute la sensation de la conversation peut s'effondrer.
C'est précisément pour cette raison quel'interaction en temps réel est devenue un axe de recherche commun des équipes de modèles, d'applications et de matériel。
LeiRTE2026, la conférence sur l'intelligence en temps réel, qui vient de s'achever, a réuni toutes ces équipes :
ceux qui recherchent les modèles d'interaction de nouvelle génération, ceux qui développent des agents pour le service client, ceux qui fabriquent des objets intelligents — tous parlaient de la même chose :
comment faire en sorte que l'IA suive le rythme des échanges réels。
Une conférence phare de l'IA conversationnelle
Du point de vue d'un observateur du secteur, on voit clairement que la ligne d'évolution centrale de l'IA conversationnelle actuelle est passéed'une simple « génération de réponses en une phrase » à une « participation continue et approfondie aux échanges réels ».
GPT-Realtime d'OpenAI a introduit le raisonnement en temps réel et l'appel d'outils dans les modèles vocaux, permettant à l'IA, après avoir compris la demande, de juger plus avant comment répondre et quels outils appeler.
Gemini Live de Google permet à la conversation et à la réflexion approfondie de se dérouler en parallèle : pendant que des tâches complexes sont traitées en arrière-plan, l'utilisateur peut continuer à échanger ; GPT-Live, combiné à Decisions, permet à l'agent de déclencher des actions dès le cours de la parole de l'utilisateur, sur la base de transcriptions incrémentales.
Du mode full-duplex d'écoute et de parole simultanées au jugement omni-modal combinant son et image, l'IA sort progressivement du régime question-réponse par tours de parole.
Les grands fabricants continuent de faire progresser l'interaction en temps réel, et iRTE est devenu une fenêtre d'observation sur la manière dont ces technologies rejoignent l'industrie.
Dès 2020, cette conférence sectorielle était passée de RTC à RTE, ses thèmes s'étendant de la communication audiovidéo en temps réel à des expériences d'interaction en temps réel plus riches ;
Cette année, un « i » (pour Intelligent, intelligence en temps réel) a été ajouté à RTE, qui est officiellement devenue iRTE, se concentrant davantage sur la fusion entre l'interaction en temps réel et l'IA générative.
Un seul lettre de plus dans le nom, mais bien plus de travail à accomplir.
Les thèmes des sessions dédiées révèlent aisément l'orientation centrale de cette édition du congrès iRTE : plus d'une dizaine de forums et plus de 100 sessions de partage approfondi interrogent ensemble les trois défis concrets à surmonter pour le déploiement de l'IA conversationnelle.
Le premier défi est l'alignement entre les capacités des modèles et les résultats commerciaux.
Meituan, Alibaba, MiniMax et Agora ont débattu côte à côte lors de la session consacrée aux agents intelligents de service client d'entreprise : aussi performante que soit la conversation d'un grand modèle, s'il ne peut pas s'adapter aux processus métier réels, il ne pourra toujours pas générer de valeur commerciale.
Le secteur a un besoin urgent de combler le fossé entre les trajectoires des modèles, la mise en œuvre d'ingénierie et les objectifs métier.
Deuxième problématique : derrière une conversation fluide se cache tout un socle technologique fondamental indispensable.
Pour parvenir à une conversation naturelle en temps réel, on ne peut pas se fier uniquement au grand modèle lui-même. Des experts techniques issus de StepFun, de l'Université chinoise de Hong Kong (Shenzhen), du Laboratoire de technologies de la parole et de l'audio de l'Université Tsinghua, de Qwen Audio, d'Ant Group (Bailing), de Xiaomi, de Soul et d'autres entreprises et universités/institutions ont échangé, lors de la session dédiée à l'IA conversationnelle et à l'IA audio, autour de l'interaction des modèles, de l'extraction de voix cible, de la reconnaissance multi-locuteurs et de la génération de parole en temps réel.
Le secteur en est venu à un consensus : la moindre faiblesse dans l'une de ces technologies de base compromettra directement l'expérience conversationnelle.
La troisième problématique est l'épreuve de réalité qui se pose une fois la technologie passée du laboratoire aux terminaux matériels.
Lorsque les capacités de l'IA descendent au niveau des dispositifs matériels, les solutions techniques doivent faire face à un environnement physique complexe et réel.
Rockchip, Uniview et PETKIT ont souligné, lors de la session consacrée aux matériels intelligents et à l'IA incarnée, qu'il est loin d'être suffisant de simplement brancher un grand modèle sur un matériel : les contraintes de calcul en périphérie comme la perception de l'environnement réel doivent, en définitive, être évaluées à l'aune de la valeur du produit lui-même.
Une fois l'IA embarquée, l'appareil doit développer de véritables capacités différenciantes que les utilisateurs auront envie d'utiliser de façon continue.
La table ronde du forum principal a encore fait avancer la discussion vers sa concrétisation.
Chen Wei, fondateur de Xieyue Intelligence, estime que la clé de l'IA incarnée est de transformer réellement l'intention humaine en action du robot. Le robot ne doit pas seulement comprendre les commandes vocales : il doit aussi fusionner des informations multimodales telles que la vision, la voix et son propre état, accomplir la perception, la planification et la prise de décision relatives à l'environnement physique, et ajuster en continu l'exécution des tâches en fonction des changements de l'environnement après l'action.
Cai Guoxiang, cofondateur de Rokid, a proposé que le naturel du dialogue est le facteur déterminant de l'expérience utilisateur des appareils IA portables ;
Geng Xianglei, fondateur de Guanke Technology, a quant à lui indiqué que la latence du poste vocal et la maîtrise du moment des interruptions affectent directement les résultats commerciaux. Qu'il s'agisse de matériel intelligent ou de scénarios de service client en entreprise, toutes les épreuves finissent par se concentrer dans la fenêtre d'interaction de quelques secondes qui suit la prise de parole de l'utilisateur.
Le modèle est chargé de la compréhension et du raisonnement, mais le réseau temps réel, le traitement audio et vidéo ainsi que l'orchestration des interactions doivent suivre de concert.
Architecte en chef chez NVIDIA, lauréat du Technology & Engineering Emmy Award 2025,Andrey Norkina présenté le nouveau codec vidéo de nouvelle génération AV2, comblant ainsi le maillon essentiel de la diffusion médiatique et explorant des voies garantissant une expérience d'interaction vidéo de haute qualité sur la base d'une meilleure efficacité de compression.
Des capacités des modèles à la boucle métier complète, des terminaux matériels à la transmission médiatique, les tendances sectorielles présentées par iRTE devenaient progressivement claires :
la compétition de l'IA conversationnelle s'est déjà étendue à l'ensemble de la chaîne complète d'interactions réelles。
et le socle fondamental qui soutient cette chaîne, qui détermine le plancher de l'expérience d'interaction et qui exige le plus de temps réel, c'est précisément le domaine queAgoracultive en profondeur.
Ce qu'Agora veut faire, c'est construire l'infrastructure temps réel de l'ère de l'IA générative
En suivant cette chaîne, le travail qu'Agora doit assumer lui-même est en train de changer.
Par le passé, la visioconférence, la classe en ligne et la conversation audio en direct exigeaient principalement que la voix et l'image se transmettent sans heurts d'une personne à l'autre.
Aujourd'hui, avec l'arrivée des Agents, la reconnaissance vocale, le raisonnement des modèles, l'appel d'outils et le retour des terminaux doivent tous s'articuler à temps dans l'échange.
Le cadre des « cinq niveaux de capacité conversationnelle » proposé par Zhao Bin, fondateur et PDG d'Agora, lors du forum principal, développe davantage ce changement :
du niveau L1, où l'on répond question par question, au niveau L2 qui maîtrise les règles de l'interaction et coordonne les moments d'écoute et de parole, en passant par le niveau L3 qui comprend les intentions et les situations individuelles, le niveau L4 qui comprend les relations entre plusieurs personnes et les limites de la communication, pour aboutir au niveau L5, une communication profonde fondée sur un contexte à long terme.
Vu sous l'angle de ce cadre, la rapidité de réponse et la naturalité de la voix ne sont que des capacités partielles. L'IA doit aussi comprendre avec qui elle dialogue, pourquoi l'interlocuteur s'exprime ainsi, et quelle réponse convient.
L'épreuve la plus immédiate aujourd'hui, c'est de bien gérer les pauses, les interruptions et l'exécution des tâches.
La collaboration entre le « cerveau rapide » et le « cerveau lent »traite précisément ce type de problème.
Ce cadre permet au modèle d'interaction de maintenir la conversation en temps réel, tandis que le modèle d'arrière-plan se charge du raisonnement approfondi, de la recherche et des appels d'outils. L'utilisateur peut continuer à ajouter des conditions ou à modifier ses exigences, et le système ajuste l'exécution en conséquence.
Mais une fois le traitement parallèle en place, les plusieurs modèles doivent encore rester cohérents : si une nouvelle exigence a déjà été acceptée en amont, le modèle en aval ne peut pas continuer à opérer selon l'ancienne tâche.
Le modèle présenté par Agora,Agora Conversational Model, adopte un système de dialogue hybride à collaboration multi-modèles, organisant la perception sonore, la réponse full-duplex, le raisonnement, les outils, la mémoire et l'expression vocale, et coordonnant l'écoute continue, le jugement d'intention et l'action.
Le rôle de l'infrastructure temps réel s'étend également de la connexion et de la transmission à la coordination des modèles au cours du dialogue.
LeConversational Agent Systemprésenté par Zhao Bin combine les capacités susmentionnées avec un réseau temps réel mondial, le traitement audio et l'infrastructure d'inférence. Le son et l'image doivent être transmis en continu, et les tours de parole, le contexte et l'état métier doivent être synchronisés en temps utile.
La direction dunuage d'inférence temps réel distribuéqu'il propose en outre comprend également l'exécution des modèles au plus près des utilisateurs, avec une sélection dynamique des modèles, des outils et des chemins en fonction de la latence, de la charge et du scénario.
Ces capacités, lorsqu'elles entrent dans les activités et les terminaux, sont prises en charge par des produits correspondants.
Moteur d'IA conversationnelleIl connecte les modèles, le framework d'exécution des agents et les utilisateurs, prend en charge les architectures en cascade et de bout en bout, et offre des capacités telles que la gestion des tours de parole, le traitement des interruptions et le verrouillage de l'attention ;
Kit de développementIl aide le matériel à passer des dialogues vocaux aux interactions visuelles et gestuelles ;
Call AgentDestiné aux activités téléphoniques, il fournit des outils de configuration des lignes, d'orchestration des flux, de test, de déploiement et de supervision.
Les développeurs peuvent quant à eux, grâce au SDK, aux Skills, à la CLI et aux Recipes, bénéficier d'un support d'intégration, d'assistance à la programmation par IA et d'exemples de scénarios, et combiner modèles, outils et mémoire à l'aide de projets open source comme TEN Framework, réduisant ainsi les développements redondants des briques de base.
Du réseau au traitement des interactions, en passant par les produits et les outils, Agora organise l'ensemble des capacités nécessaires à la communication entre les humains et les agents en une infrastructure réutilisable.
Cela fait écho à l'évolution de la conférence, de RTE vers iRTE.
Dès lors que l'interaction en temps réel porte l'intelligence, les systèmes sous-jacents doivent permettre aux modèles de comprendre, de raisonner et d'agir en continu, en véritable coordination dans les échanges réels.
Quant aux utilisateurs ordinaires, peu importe combien de modèles collaborent en arrière-plan ou par combien de nœuds réseau passent les données. Notre exigence est en réalité restée très simple :
quand on n'a pas fini de parler, on écoute ; quand on change d'idée, on suit ; quand on confie une tâche, elle est bien accomplie——
L'IA est déjà si intelligente qu'il serait temps qu'une conversation avec elle nous épargne quelques soucis.