Von Wenle aus凹非寺
QbitAI | WeChat-Konto QbitAI
Ich sage es mal so: KI schreibt heutzutage wirklich schnell Code und betreibt Forschung in rasantem Tempo;
doch sobald es zum Sprachchat kommt, möchte ich fragen:
Was hat es eigentlich so eilig?!!
Man ist noch nicht fertig mit dem Reden, da fängt es schon an; man wird emotional, und es liest stattdessen stur seine Antwort vor; man will es unterbrechen und das Thema wechseln, aber es besteht darauf, den letzten Satz noch auszusprechen …
Das ist doch kein Gespräch, das ist reines Kräftemessen.
△Bild KI-generiert
Um es klar zu sagen: Die Hürde, dass KI „sprechen kann“, ist längst genommen, aber beim „Gespräche führen“ hinkt sie noch deutlich hinterher.
Um gute Gespräche führen zu können, muss eine KI Emotionen und Zwischenzeilen verstehen, muss mit dem eigenen Sprechrhythmus mithalten können und muss einem beim Unterbrechen sofort das Wort überlassen.
Diese kleinen Unstimmigkeiten im Nutzungserlebnis wirken zwar unscheinbar, dahinter steckt jedoch die gesamte Kette aus Spracherkennung, Modellverständnis, Echtzeitübertragung und Endgeräteantwort.
Wird nur ein einziges Glied dieser Kette langsam, leidet das gesamte Gesprächsgefühl.
Und genau deshalb istdie Echtzeit-Interaktion zu einer Richtung geworden, an der Modell-, Anwendungs- und Hardware-Teams gemeinsam arbeiten。
Die gerade zu Ende gegangeneiRTE2026 – Konferenz für Echtzeit-Intelligenzbrachte all diese Teams zusammen:
Wer an interaktiven Modellen der nächsten Generation forscht, wer Kundenbetreuungs-Agenten entwickelt, wer intelligente Hardware baut – alle sprachen über dasselbe Thema:
Wie man die KI mit der echten Kommunikation Schritt halten lässt。
Eine wegweisende Konferenz für dialogorientierte KI
Aus der Perspektive eines Branchenbeobachters lässt sich klar erkennen, dass sich die zentrale Entwicklungslinie der dialogorientierten KI heute bereitsvon der bloßen „Generierung einer einzigen Antwortzeile“ zu einer tiefgehenden „kontinuierlichen Teilnahme an echten Gesprächen“ verlagert hat.
OpenAIs GPT-Realtime brachte Echtzeit-Inferenz und Tool-Aufrufe in Sprachmodelle, sodass KI nach dem Verstehen der Anforderung weiter entscheiden kann, wie sie antwortet und welche Werkzeuge sie aufruft.
Googles Gemini Live lässt Konversation und tiefes Nachdenken parallel ablaufen: Während komplexe Aufgaben im Hintergrund verarbeitet werden, kann der Nutzer weiterhin kommunizieren; GPT-Live wiederum ermöglicht in Kombination mit Decisions, dass Agenten anhand inkrementeller Transkripte bereits während des Sprechens des Nutzers Aktionen auslösen.
Vom Vollduplex-Simultanhören und -Sprechen bis hin zur multimodalen Beurteilung mit Ton und Bild verlässt die KI schrittweise das klassische Frage-Antwort-Rundenprinzip.
Die führenden Hersteller treiben die Echtzeit-Interaktion kontinuierlich voran, und iRTE ist zu einem Schaufenster geworden, um zu beobachten, wie diese Technologien in die Industrie Einzug halten.
Bereits im Jahr 2020 wurde diese Branchenkonferenz von RTC zu RTE weiterentwickelt, und die Themen erweiterten sich von der Echtzeit-Audio- und Videokommunikation hin zu vielfältigeren Echtzeit-Interaktionserlebnissen;
in diesem Jahr wurde dem RTE nun ein „i“ hinzugefügt (das für Intelligent steht, also Echtzeit-Intelligenz), und die Konferenz wurde offiziell zu iRTE aufgewertet, mit noch stärkerem Fokus auf die Verschmelzung von Echtzeit-Interaktion und generativer KI.
Der Name ist nur um einen Buchstaben gewachsen, doch die zu bewältigende Arbeit ist erheblich mehr geworden.
Den Themenblöcken der Sondersitzungen lässt sich unschwer die zentrale Richtung dieser iRTE-Konferenz erkennen: Über ein Dutzend Foren und mehr als 100 vertiefte Vorträge fragen gemeinsam nach den drei realen Herausforderungen, die bei der Umsetzung von dialogbasierter KI zu überwinden sind.
Die erste Herausforderung ist die Ausrichtung der Modellfähigkeiten auf Geschäftsergebnisse.
Meituan, Alibaba, MiniMax und Agora diskutierten auf der Sondersitzung zu KI-Agenten im Kundenservice für Unternehmen gemeinsam: So überzeugend die Dialogleistung großer Modelle auch sein mag, wenn sie sich nicht an echte Geschäftsprozesse anpassen lässt, entsteht dennoch kein kommerzieller Wert.
Die Branche muss dringend die Kluft zwischen Modellansatz, technischer Umsetzung und Geschäftszielen überbrücken.
Die zweite Fragestellung: Hinter den flüssigen Dialogen steckt ein unverzichtbares Fundament aus Basistechnologien.
Um ein natürliches Echtzeitgespräch zu erreichen, kann man sich nicht allein auf das große Modell selbst verlassen. Technologieexperten von Unternehmen und Hochschulen/Institutionen wie StepFun, der Chinese University of Hong Kong (Shenzhen), dem Labor für Sprach- und Audiotechnologie der Tsinghua-Universität, Qwen Audio, Ant Bai Ling, Xiaomi und Soul diskutierten auf der Fachsession für Dialog-KI und Audio-KI über Richtungsthemen wie Interaktionsmodelle, Extraktion von Zielstimmen, Erkennung mehrerer Sprecher und Echtzeit-Sprachgenerierung.
In der Industrie herrscht Konsens: Jede Schwachstelle bei den oben genannten Basistechnologien beeinträchtigt das Dialogerlebnis unmittelbar.
Die dritte Fragestellung ist die praktische Bewährungsprobe, wenn die Technologie vom Labor in die Endgeräte-Hardware übergeht.
Wenn KI-Fähigkeiten in Hardwaregeräte absinken, muss die technische Lösung sich der komplexen realen physischen Umgebung stellen.
Rockchip, Uniview und PETKIT stellten auf der Fachsession für intelligente Hardware und verkörperte Intelligenz fest, dass es bei weitem nicht genügt, große Modelle einfach an Hardware anzubinden: Rechenleistungsbeschränkungen am Endgerät und die Wahrnehmung der realen Umgebung müssen letztlich am Produktwert selbst gemessen werden.
Mit integrierter KI müssen Geräte differenzierte Fähigkeiten entwickeln, die Nutzer wirklich dauerhaft nutzen möchten.
Die Podiumsdiskussion im Hauptforum führte die Debatte weiter in Richtung praktischer Umsetzung.
Chen Wei, Gründer von Xieyue Intelligence, ist der Ansicht, dass der Schlüssel der verkörperten Intelligenz darin liegt, die Absichten des Menschen tatsächlich in Handlungen des Roboters umzusetzen. Ein Roboter muss nicht nur Sprachbefehle verstehen, sondern auch multimodale Informationen wie Bild, Sprache und den eigenen Zustand verbinden, Wahrnehmung, Planung und Entscheidung in der physischen Umgebung vollziehen und die Ausführung der Aufgabe kontinuierlich an die Veränderungen der Umgebung nach der Handlung anpassen.
Cai Guoxiang, Mitgründer von Rokid, führte an, dass die Natürlichkeit des Dialogs der Kern dafür ist, das Nutzererlebnis von KI-Wearable-Geräten zu bestimmen;
Geng Xianglei, Gründer von Guanke Technology, wies hingegen darauf hin, dass die Latenz von Sprachagenten und das Timing von Unterbrechungsinteraktionen die Geschäftsergebnisse unmittelbar beeinflussen. Ob intelligente Hardware oder Kundenservice-Unternehmen – alle Prüfungen münden letztlich in dem kurzen Interaktionszeitfenster von wenigen Sekunden, nachdem der Nutzer zu sprechen beginnt.
Das Modell ist für Verständnis und Schlussfolgerung zuständig, doch auch Echtzeitnetzwerk, Audio- und Videoverarbeitung sowie Interaktionsorchestrierung müssen synchron folgen.
Chefarchitekt von NVIDIA und Träger des Technology & Engineering Emmy Award 2025Andrey Norkinpräsentierte den neuen Videocodec AV2 der nächsten Generation, schloss die entscheidende Lücke der Medienzustellung und erkundete Wege, auf Basis höherer Kompressionseffizienz ein hochwertiges Video-Interaktionserlebnis zu sichern.
Von den Modellfähigkeiten bis zum Geschäftskreislauf, von der Endgeräte-Hardware bis zur Medienübertragung zeichnet sich bei iRTE ein zunehmend klarer Branchentrend ab:
Der Wettbewerb der Dialog-KI hat sich bereits auf die gesamte Kette der echten Interaktion ausgedehnt。
und das Fundament, das diese Kette trägt, die Untergrenze des Interaktionserlebnisses bestimmt und die höchsten Echtzeitanforderungen stellt, ist genau das Gebiet, auf dem sichAgoravertieft.
Agora will die Echtzeit-Infrastruktur des Zeitalters der generativen KI aufbauen.
Betrachtet man diese Kette entlang ihres Verlaufs, verändert sich auch die Aufgabe, die Agora zu übernehmen hat.
Früher ging es bei Videokonferenzen, Online-Klassen und Sprach-Verbindungen vor allem darum, Ton und Bild zwischen Menschen reibungslos zu übertragen.
Heute kommen Agenten hinzu: Spracherkennung, Modellschlussfolgerung, Tool-Aufrufe und Endgeräte-Feedback müssen sich im Gespräch rechtzeitig aufeinander abstimmen.
Das Rahmenkonzept der „fünf Dialogfähigkeitsstufen“, das Agora-Gründer und CEO Zhao Bin im Hauptforum vorstellte, entfaltet diesen Wandel weiter:
Von L1 – eine Frage, eine Antwort – über L2, wo Interaktionsmuster beherrscht und das Timing von Sprechen und Zuhören koordiniert wird, bis zu L3, dem Verstehen individueller Absichten und Umstände, und L4, dem Verstehen von Beziehungen mehrerer Personen und Kommunikationsgrenzen, hin zu L5 – einer tiefgreifenden Kommunikation auf Basis langfristiger Kontexte.
Betrachtet man dieses Rahmenkonzept, sind schnelle Antworten und eine natürliche Stimme nur ein Teil der Fähigkeiten. KI muss auch verstehen, mit wem sie kommuniziert, warum das Gegenüber so spricht und welche Antwort angemessen ist.
Die unmittelbarste Prüfung besteht derzeit darin, Pausen, Unterbrechungen und die AufgabenAusführung zu bewältigen.
Die Zusammenarbeit von „schnellem und langsamem Gehirn“löst genau solche Probleme.
Bei diesem Rahmenkonzept hält das Interaktionsmodell das Echtzeitgespräch aufrecht, während das Hintergrundmodell für tiefgehendes Schlussfolgern, Suche und Tool-Aufrufe zuständig ist. Nutzer können weitere Bedingungen ergänzen oder Anforderungen ändern, und das System passt die Ausführung entsprechend an.
Doch nach der Parallelisierung müssen mehrere Modelle konsistent bleiben: Wurde vorne bereits eine neue Anforderung akzeptiert, darf hinten nicht weiter nach der alten Aufgabe vorgegangen werden.
Das von Agora präsentierteAgora Conversational Modelist ein hybrides Dialogsystem mit Zusammenarbeit mehrerer Modelle, das Geräuschwahrnehmung, Vollduplex-Antworten, Schlussfolgerung, Werkzeuge, Gedächtnis und sprachlichen Ausdruck organisiert und kontinuierliches Zuhören, Absichtserkennung und Handeln koordiniert.
Die Rolle der Echtzeit-Infrastruktur erstreckt sich damit ebenfalls von Verbindung und Übertragung hin zur Modellkoordination während des Dialogs.
Das von Zhao Bin vorgestellteConversational Agent Systemverbindet die genannten Fähigkeiten mit einem globalen Echtzeit-Netzwerk, Audioverarbeitung und Inferenz-Infrastruktur. Ton und Bild müssen kontinuierlich übertragen werden, während Gesprächsrunden, Kontext und Geschäftsstatus ebenfalls zeitnah synchronisiert werden müssen.
Die von ihm weiter vorgeschlagene Richtung einerverteilten Echtzeit-Inferenz-Cloudsieht zudem vor, Modelle nahe am Nutzer laufen zu lassen und je nach Latenz, Last und Szenario Modelle, Werkzeuge und Pfade dynamisch auszuwählen.
Damit diese Fähigkeiten in Geschäftsanwendungen und Endgeräte Einzug halten, gibt es entsprechende Produkte, die diese übernehmen.
Dialogorientierte KI-EngineVerbindet Modelle, Agent-Ausführungsframeworks und Nutzer, ist kompatibel mit kaskadierenden und End-to-End-Architekturen und bietet Fähigkeiten wie Rundenverwaltung, Unterbrechungsbehandlung und Aufmerksamkeitssperre;
EntwicklungskitHilft Hardware, von Sprachdialogen zu visuellen und aktionsbasierten Interaktionen zu expandieren;
Call AgentFür Telefon-Geschäfte bietet es Werkzeuge wie Leitungs konfiguration, Ablauforchestrierung, Testbereitstellung und Monitoring.
Entwickler können über SDK, Skills, CLI und Recipes Unterstützung beim Zugang, bei der KI-Programmierung und bei Szenario-Beispielen erhalten und mithilfe von Open-Source-Projekten wie TEN Framework Modelle, Tools und Gedächtnis kombinieren, um wiederholte Grundlagenaufbauten zu vermeiden.
Von Netzwerk und Interaktionsverarbeitung bis hin zu Produkten und Tools organisiert Agora die Fähigkeiten, die für die Kommunikation zwischen Menschen und Agents benötigt werden, als eine wiederverwendbare Infrastruktur.
Dies spiegelt auch den Weg der Konferenz von RTE zu iRTE wider.
Wenn Echtzeit-Interaktion Intelligenz trägt, muss das zugrundeliegende System dafür sorgen, dass Verstehen, Schlussfolgern und Handeln der Modelle in echten Gesprächen kontinuierlich zusammenspielen.
Was normale Nutzer betrifft: Sie interessieren sich kaum dafür, wie viele Modelle im Hintergrund zusammenarbeiten oder wie viele Netzwerkknoten durchlaufen werden. Unsere Anforderungen sind eigentlich schon immer bescheiden gewesen:
Wenn man noch nicht fertig gesprochen hat, soll erst zugehört werden; wenn man seine Meinung ändert, soll mitgekommen werden; wenn man etwas aufgetragen hat, soll es gut erledigt werden.——
Die KI ist so schlau – beim Plaudern sollte sie einem nun auch mal Sorgen abnehmen.