今日、自然に聞こえる音声エージェントを構築するには、多くの決定が必要です。音声認識、音声アクティビティ検出、ターンテイキング、基盤となる LLM、テキスト読み上げといった個々のコンポーネントについて選択を行わなければなりません。このスタックの構築自体が一つのプロジェクトであり、すべてのコンポーネントをうまく連携させるには、より多くのテストとチューニングが必要です。
Eleven Realtime は、こうしたハードルを取り除く、新しいクラスの Speech to Speech モデルです。各モデルは完全な音声エージェントであり、それぞれ異なるユースケースに最適化されています。どちらも 90 以上の言語をサポートし、ElevenLabs ライブラリにある 17,000 以上の音声のいずれも使用できます:
本日、以下をリリースします:
- Eleven Realtime v1 Mini は、低コストで自然な会話を実現します。AI アシスタント、教師、インタラクティブなキャラクターに最適な選択肢であり、ほとんどのユースケースに十分対応できます。
- Eleven Realtime v1 Max は、複雑なタスク向けです。カスタマーサポート、リードの選別、マルチステップのワークフローなど、エージェントがプロセスに従い、段階的に推論する必要がある場合に理想的です。
なぜリアルタイムモデルを構築したのか
自然に聞こえる音声エージェントを構築するために、設定の専門家になる必要はありません。エージェントの感触や音声を適切にするというのは、一時停止後どのくらい待ってから応答するか、ユーザーがエージェントの発言を遮ったときにどう復旧するか、音声、プロンプト、モデルがどう連携するかといった、繊細さを要する小さな判断の積み重ねです。ElevenAgents では、これらはすべて調整可能な設定です。
すでにリアルタイム API を利用している開発者にとっても同様です。当社の API は OpenAI の Realtime API と互換性があるため、Eleven Realtime を試すには、すでにお持ちのコード内でエンドポイントとモデル名を変更するだけですみます。
カスケード型アーキテクチャに基づいて構築
Eleven Realtime は、前述のコンポーネントからなる カスケード型アーキテクチャ に基づいて構築され、エンドツーエンドでチューニングされています。オーディオ入力、オーディオ出力、1 つのモデル ID、そして fused モデルや duplex モデルと同じリーダーボードで測定できるシステムが得られるため、これらを Speech to Speech モデルと呼んでいます。
Fused モデルは当初、音声エージェントがどれだけ自然に感じられるかの基準を定めましたが、カスケード型の構成では各ハンドオフでレイテンシが増大し、コンポーネント同士が相互にチューニングされることはありませんでした。Realtime はそのトレードオフを取り除き、かつてはあなたのプロジェクトだったチューニングはすでに完了しています。
カスケード型には本番環境における実用的な利点もあります。すべてのステップでテキストが生成されるためです。エージェントが何を聞き取り、何を言うと決めたかを確認できるため、聞き間違いと誤った判断を区別できます。同じテキストこそが、ElevenAgents が Realtime エージェントにガードレールと PII マスキングを適用することを可能にしています。
以下のベンチマークは、このトレードオフが本当に解消されたかどうかの試金石です。会話のダイナミクスにおいて、両モデルは fused モデルと同じスコア帯に達しています。精度と速度の両面で、Artificial Analysis のリーダーボード上で v1 Max よりも速く、かつ高精度なモデルは存在しません。
パフォーマンス
Artificial Analysis は、両モデルを 3 つの公開ベンチマークで独立に評価しました: 音声推論の Big Bench Audio、会話のダイナミクスの Full-Duplex-Bench、そして人間の選好とタスク成功率の Speech Agent Arena です。
音声推論
Big Bench Audio は、音声で 1,000 の推論質問を行い、口頭での回答を採点します。Realtime v1 Max は 98.8% の質問に正答し、v1 Mini は 75.9% の正答でした。
速度
Big Bench Audio は、音声で 1,000 の推論質問を行い、口頭での回答を採点します。v1 Max は平均 0.57 秒で発話を開始し、v1 Mini は 0.62 秒です。
精度と速度のパレートフロンティア
精度と速度は通常、トレードオフと見なされています。Big Bench Audio で最も高いスコアを取るモデルは回答に最も時間がかかり、最速のモデルは精度を大きく犠牲にしています。v1 Max はこれら両方の指標で優れています。
会話のダイナミクスと人間の選好
一時停止、ターンテイキング、割り込み、相槌をテストする Full-Duplex-Bench では、v1 Mini は 95.8%、v1 Max は 94.1% をスコアしました。盲検のライブ会話で人々が 2 つのモデルを比較する Speech Agent Arena では、v1 Max は 998、v1 Mini は 988 を獲得しました。ツール使用タスクでは、v1 Max は 87.1%、v1 Mini は 60.3% を完了しており、これがツール呼び出しの多いユースケースには Max を推奨する理由です。
始めましょう
ElevenAgents で(推奨)
エージェントを作成するか、既存のエージェントを開き、ドロップダウンから Realtime モデルを選択します。そこから、本番デプロイでエージェントを実行するために ElevenAgents が提供するすべての機能を利用できます。これには、電話、ウェブ、WhatsApp、CCaaS チャネル、ワークフロー、ナレッジベース、ガードレール、テスト、監視が含まれます。
以下もご確認ください ElevenAgents ドキュメント 詳細についてはこちらをご覧ください。
Realtime API 経由での利用
すでに OpenAI の Realtime API との統合をお持ちの場合、Eleven Realtime を最も手早く試す方法は、コードをそのまま維持し、接続先だけを変更することです。Realtime API は WebSocket で接続し、OpenAI の Realtime 仕様に準拠しているため、OpenAI の SDK がそのまま動作します。
import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";
const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());
const agent = new RealtimeAgent({
name: "ElevenLabs agent",
instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});
const transport = new OpenAIRealtimeWebSocket({
url: "wss://api.elevenlabs.io/v1/convai/realtime",
});
const session = new RealtimeSession(agent, {
transport,
model: "eleven_realtime_v1_mini",
config: {
outputModalities: ["audio"],
audio: { output: { voice: "brian" } },
},
});
await session.connect({ apiKey: clientSecret });Realtime API は WebSocket のみで接続するため、WebRTC による統合はまず WebSocket への移行が必要です。また、ElevenAgents とは別に動作するため、チャネル、ナレッジベース、その他のプラットフォーム機能が必要な場合は、最初から ElevenAgents をベースに構築してください。
この 移行ガイド OpenAIのAPIとの手順と違いを解説しています。
執筆者:
プロフィールを見る