聞楽 凹非寺より
量子位 | 公衆号 QbitAI
私が言うのもなんだが、AIは今や確かにコードを速く書き、研究も飛ぶように進めている。
しかし音声チャットとなると、一言聞きたくなる。
一体何をそんなに焦っているのか！！
こちらが話し終えていないのに割り込んで口を開くし、感情が高まっていても相変わらず機械的に答えを読み上げるし、遮って話題を変えようとしても、最後まで一文を読み終えてやめない……
これはチャットじゃない、ただの張り合いだろう。
△画像はAI生成
はっきり言えば、AIが「話せる」という関門はとっくに超えたが、「会話できる」にはまだ大きな隔たりがある。
会話ができるというのは、感情や言外の意味を理解し、話すテンポに合わせ、こちらが遮ったときには速やかに話の席を譲れなければならないはずだ。
こうした体験上の小さなつまずきは、地味に見えるが、その裏には音声認識、モデルの理解、リアルタイム伝送、端末の応答という一連のチェーンが関わっている。
どこか一つでも遅れると、チャットの体感は崩れやすい。
まさにそのためこそ、リアルタイムインタラクションはモデル・アプリケーション・ハードウェアの各チームが共に取り組む方向となっている。
先日閉幕したiRTE2026リアルタイムインテリジェンス大会では、これらのチームが一同に介した。
次世代インタラクションモデルを研究する者、カスタマーサポートAgentを作る者、スマートハードウェアを製造する者、皆が同じことを語っていた——
いかにAIをリアルなコミュニケーションに追いつかせるか。
対話型AIの風向計となる大会
業界の観察者の視点からはっきり見えるのは、現在の対話AIの核心的な進化の主軸が、すでに単に「一つの文を生成して答える」ことから、深く「リアルな交流に持続的に参加する」ことへと移行しているという点だ。
OpenAIのGPT-Realtimeはリアルタイム推論とツール呼び出しを音声モデルに取り込み、AIがニーズを聞き取った後、さらにどう応答するか、どのツールを呼び出すかを判断できるようにした。
GoogleのGemini Liveは対話と深い思考を並行させ、バックグラウンドで複雑なタスクを処理している間もユーザーは交流を続けられる。GPT-LiveはDecisionsと組み合わせることで、Agentが増分の文字起こしに基づき、ユーザーの発話中にアクションをトリガーできるようにした。
全二重の聞きながら話す方式から、音声と映像を組み合わせた全モーダル判断まで、AIは一問一答のターン制から徐々に脱しつつある。
大手ベンダーがリアルタイムインタラクションを推進し続ける中、iRTEはこれらの技術がどのように産業へ向かうかを観察する窓口となっている。
早在2020年、この業界大会はRTCからRTEへとアップグレードし、議題はリアルタイム音声動画通信から、より豊かなリアルタイムインタラクティブ体験へと拡大した。
そして今年、RTEに「i」（Intelligent、リアルタイムインテリジェンスを表す）が加わり、正式にiRTEへとアップグレードし、リアルタイムインタラクションと生成AIの融合にさらに焦点を当てることになった。
名前は一文字増えただけだが、担うべき仕事はずっと多くなった。
専用セッションのテーマからも、今回のiRTE大会の核心的な方向性がうかがえる。10以上のフォーラム、100以上のディープなセッションが、対話型AIの実用化を越えるべき三つの現実的な命題を共同で問うた。
第一の命題は、モデルの能力とビジネス成果の整合だ。
美団、アリババ、MiniMax、Agoraがエンタープライズ向けカスタマーサポートエージェントの専用セッションで同じ舞台に立ち、大規模言語モデルの対話性能がどれほど優れていても、実際のビジネスプロセスに適合できなければ商業的価値は生まないと論じた。
業界には、モデルの方向性、エンジニアリング実装とビジネス目標の間の溝を埋めることが急務となっている。
第二の命題：流暢な対話の裏には、欠かすことのできない一式の基盤技術インフラが存在する。
自然なリアルタイム対話を実現するには、大規模モデルだけに頼ることはできない。階躍星辰、香港中文大学（深圳）、清華大学音声・音響技術実験室、Qwen Audio、螞蟻百霊、Xiaomi、Soulなどの企業・大学・機関の技術専門家が、対話型AI・オーディオAI技術専門セッションにおいて、インタラクションモデル、話者抽出、複数話者識別、リアルタイム音声生成などの方向性をめぐって議論を行った。
産業界では共通認識が形成されており、上記の基盤技術のいずれか一つでも欠落があれば、対話体験は直接的に損なわれる。
第三の命題は、技術が実験室から端末ハードウェアへと進出した後の現実的な試練である。
AI能力がハードウェアデバイスに組み込まれると、技術ソリューションは複雑で現実の物理環境と向き合わなければならない。
Rockchip、宇視科技、PETKIT（小佩）は、スマートハードウェア・具身知能（エンボディッドAI）専門セッションにおいて、大規模モデルをハードウェアに組み込むだけでは十分ではなく、エッジ側の計算能力の制約や現実環境の知覚も、最終的には製品価値そのものに立ち返って考慮すべきだと指摘した。
AIを搭載した後は、デバイスはユーザーが継続的に使い続けたくなるような真の差別化能力を備えなければならない。
メインフォーラムの円卓会議は、議論をさらに実装のレベルへと押し進めた。
斜躍智能の創設者である陳偉氏は、具身知能の鍵は人の意図を真にロボットの行動へと変換することだと考える。ロボットは音声指示を理解するだけでなく、視覚、音声、自身の状態などのマルチモーダル情報を融合させ、物理環境の知覚・計画・意思決定を完了し、行動後の環境変化に応じてタスクの実行を継続的に調整する必要がある。
Rokidの共同創設者である蔡国祥氏は、対話の自然さこそがAIウェアラブルデバイスのユーザー体験を決める核心だと提起した。
冠客科技の創設者である耿祥磊氏は、音声オペレーターの遅延や割り込みインタラクションのタイミング制御が、ビジネスの成果を直接左右すると指摘した。スマートハードウェアであれ、企業カスタマーサポートのシーンであれ、すべての試練は最終的に、ユーザーが口を開いた後のわずか数秒のインタラクションウィンドウの中に収束する。
モデルが理解と推論を担当する一方で、リアルタイムネットワーク、音声・映像処理、インタラクション編成もまた協調して追いつく必要がある。
NVIDIAのチーフアーキテクトであり、2025年技術・エンジニアリング・エミー賞受賞者のAndrey Norkin氏がAV2という新世代の映像コーデックに関する講演を行い、メディア配信という重要な一環を補完し、より高い圧縮効率の上で高品質な映像インタラクション体験を保障する道筋を探った。
モデル能力からビジネスのクローズドループまで、端末ハードウェアからメディア伝送まで、iRTEが示した業界の動向は次第に明確になってきている。
対話型AIの競争は、すでに完全でリアルなインタラクションの全チェーンへと拡大している。。
そしてこのチェーンを支え、インタラクション体験の下限を決め、リアルタイム性への要求が最も高い基盤インフラこそが、まさにAgora（声網）が取り組んできた領域である。
声網が目指すのは、生成AI時代のリアルタイムインフラを構築することである。
このチェーンに沿って見ると、声網が担う仕事も変化している。
かつては、ビデオ会議、オンライン授業、音声ライブ配信などでは、主に人と人の間で音声と映像をスムーズに伝えることが求められていた。
今ではAgentが加わり、音声認識、モデル推論、ツール呼び出しと端末でのフィードバックが、いずれもコミュニケーションの中でタイムリーに連携する必要がある。
声網の創設者兼CEOである趙斌氏がメインフォーラムで提起した「五段階の対話能力」のフレームワークは、このような変化をさらに展開したものである。
L1の一問一答から、L2のインタラクションの法則を把握し話す・聞くタイミングを調整すること、さらにL3の個人の意図と状況の理解、L4の複数人の人間関係とコミュニケーションの境界の理解へと進み、最終的にはL5の長期コンテキストに基づく深いコミュニケーションへと向かう。
このフレームワークに沿って見ると、応答が速く、声が自然であることは、あくまで能力の一部にすぎない。AIはさらに、自分が誰とコミュニケーションしているのか、相手がなぜそう言ったのか、どのような応答が適切なのかを理解する必要がある。
今まさに直面する最も直接的な試練は、沈黙、割り込み、タスク実行を適切に処理することである。
「速い脳と遅い脳」の協調が処理するのはまさにこの種の問題である。
このフレームワークでは、インタラクションモデルがリアルタイム対話を維持し、バックグラウンドのモデルが深い推論、検索、ツール呼び出しを担当する。ユーザーは条件を追加したり要求を変更し続けることができ、システムはそれに基づいて実行を調整する。
しかし並列化した後も、複数のモデルが一貫性を保たなければならない。前段で新しい要求をすでに受け入れたなら、後段で旧タスクに基づく操作を続けてはならない。
声网（Agora）が展示したAgora Conversational Modelは、複数モデルが協働するハイブリッド対話システムを採用し、音声知覚、全二重応答、推論、ツール、メモリ、音声表現を組織化し、継続的なリスニング、意図の判断、アクションを調整する。
リアルタイムインフラの役割も、接続と伝送から、対話プロセスにおけるモデルの協働へと広がっている。
趙斌（Zhao Bin）が紹介したConversational Agent Systemは、上述の能力とグローバルなリアルタイムネットワーク、オーディオ処理および推論インフラを組み合わせる。音声と映像は継続的に伝達され、ターン、コンテキスト、ビジネスステートも適時に同期しなければならない。
彼がさらに提唱した分散型リアルタイム推論クラウドの方向性には、モデルをユーザーの近くで実行させることや、レイテンシ、負荷、シーンに応じてモデル、ツール、経路を動的に選択することも含まれる。
これらの能力がビジネスや端末に組み込まれる際にも、それを受け止める相応の製品が用意されている。
対話型AIエンジンモデル、Agent実行フレームワークとユーザーをつなぎ、カスケード型およびエンドツーエンドの両アーキテクチャに対応し、ターン管理、割り込み処理、アテンションロックなどの機能を提供する。
開発キットハードウェアが音声対話から視覚・動作インタラクションへ拡張するのを支援する。
Call Agent電話業務向けに、回線設定、フロー設計、テスト・デプロイ、監視などのツールを提供する。
開発者は、SDK、Skills、CLI、Recipesを通じて、接続、AIプログラミング支援、シーン別サンプルのサポートを得ることができ、TEN Frameworkなどのオープンソースプロジェクトを活用してモデル、ツール、メモリを組み合わせ、基盤部分の重複構築を削減できる。
ネットワーク、インタラクション処理から製品やツールまで、Agora（声網）は人とAgentのコミュニケーションに必要な能力を、再利用可能な一連のインフラとして整備しつつある。
これはまた、カンファレンスがRTEからiRTEへと進んだことにも呼応している。
リアルタイムインタラクションがインテリジェンスを担い始めた今、基盤システムは、モデルの理解・推論・行動が実際のコミュニケーションの中で継続的に連携できるようにする必要がある。
一般ユーザーにとっては、バックエンドでいくつのモデルが連携しているとか、どれだけのネットワークノードを経由しているかは、おそらく気にしないだろう。私たちの要望は実はずっとシンプルだ：
話が終わるまでは先に聞いてくれる、考えが変わったらついてこれる、頼んだことはきちんとやってくれる——
AIがここまで賢くなったのだから、会話するくらいは、人間が気を楽にできるものであってほしい。