Créer aujourd'hui un agent vocal qui sonne naturel exige de nombreuses décisions. Vous devez faire des choix sur des composants individuels comme la reconnaissance vocale, la détection d'activité vocale, la prise de tour de parole, le LLM sous-jacent et la synthèse vocale. Construire cette pile est un projet en soi, et faire en sorte que tous les composants fonctionnent bien ensemble demande encore plus de tests et d'ajustements.
Eleven Realtime est une nouvelle classe de modèles Speech to Speech qui supprime ces obstacles. Chaque modèle est un agent vocal complet, optimisé pour des cas d'usage distincts. Les deux prennent en charge plus de 90 langues et peuvent utiliser n'importe laquelle des 17,000+ voix de la bibliothèque ElevenLabs :
Aujourd'hui, nous lançons :
- Eleven Realtime v1 Mini pour des conversations naturelles à faible coût. C'est le meilleur choix pour les assistants IA, les enseignants et les personnages interactifs, et il suffira pour la plupart des cas d'usage.
- Eleven Realtime v1 Max pour les tâches complexes. Il est idéal pour le support client, la qualification de prospects et les workflows multi-étapes, où l'agent doit suivre un processus et raisonner étape par étape.
Pourquoi nous avons construit des modèles temps réel
Vous ne devriez pas avoir à devenir un expert en configuration pour créer un agent vocal qui sonne naturel. Obtenir un agent qui semble et sonne juste repose sur de petits jugements qui demandent de la nuance, comme la durée d'attente après une pause avant de répondre, la façon de récupérer lorsque l'utilisateur interrompt l'agent, et la manière dont la voix, les prompts et un modèle fonctionnent ensemble. Dans ElevenAgents, tout cela est réglable dans les paramètres.
Il en va de même pour les développeurs qui utilisent déjà une API temps réel. La nôtre est compatible avec l'API Realtime d'OpenAI, donc essayer Eleven Realtime signifie simplement changer l'endpoint et le nom du modèle dans le code que vous avez peut-être déjà.
Construit sur une architecture en cascade
Eleven Realtime repose sur une architecture en cascade des composants décrits ci-dessus, ajustée de bout en bout. Nous les appelons des modèles Speech to Speech parce que c'est ce que vous obtenez : de l'audio en entrée, de l'audio en sortie, un seul ID de modèle, et un système qui peut être mesuré sur les mêmes classements que les modèles fusionnés et duplex.
Les modèles fusionnés ont d'abord fixé la barre du naturel qu'un agent vocal peut atteindre, tandis qu'une configuration en cascade signifiait une latence accrue à chaque transfert et des composants jamais ajustés les uns par rapport aux autres. Realtime supprime ce compromis, et l'ajustement qui était autrefois votre projet est déjà fait.
La cascade présente aussi des avantages pratiques en production, car chaque étape produit du texte. Vous pouvez voir ce que l'agent a entendu et ce qu'il a décidé de dire, ce qui permet de distinguer un mot mal entendu d'une mauvaise décision. Ce même texte permet à ElevenAgents d'appliquer des garde-fous et une suppression des PII à un agent Realtime.
Les benchmarks ci-dessous testent si ce compromis a vraiment disparu. Sur la dynamique conversationnelle, les deux modèles obtiennent des scores dans la même fourchette que les modèles fusionnés. Sur la précision et la vitesse combinées, aucun modèle du classement Artificial Analysis n'est à la fois plus rapide et plus précis que v1 Max.
Leurs performances
Artificial Analysis a évalué les deux modèles indépendamment sur trois benchmarks publics : Big Bench Audio pour le raisonnement vocal, Full-Duplex-Bench pour la dynamique conversationnelle, et la Speech Agent Arena pour la préférence humaine et la réussite des tâches.
Raisonnement vocal
Big Bench Audio pose 1,000 questions de raisonnement par voie vocale et note la réponse orale. Realtime v1 Max a répondu correctement à 98.8% des questions, et v1 Mini à 75.9%.
Vitesse
Big Bench Audio pose 1,000 questions de raisonnement par voie vocale et note la réponse orale. V1 Max commence à parler en 0.57 seconde en moyenne, et v1 Mini en 0.62 seconde.
La frontière de Pareto entre précision et vitesse
La précision et la vitesse sont généralement considérées comme un compromis. Les modèles qui obtiennent les meilleurs scores sur Big Bench Audio sont les plus lents à répondre, et les plus rapides sacrifient beaucoup de précision. v1 Max excelle sur ces deux métriques.
Dynamique conversationnelle et préférences humaines
Sur Full-Duplex-Bench, qui teste les pauses, la prise de tour de parole, les interruptions et les signaux d'écoute, v1 Mini obtient 95.8% et v1 Max 94.1%. Dans la Speech Agent Arena, où les gens comparent deux modèles lors de conversations en direct à l'aveugle, v1 Max a obtenu 998 et v1 Mini 988. Sur les tâches d'utilisation d'outils, v1 Max en a complété 87.1% et v1 Mini 60.3%, c'est pourquoi nous recommandons Max pour les cas d'usage avec un recours intensif aux outils.
Commencer
Dans ElevenAgents (recommandé)
Créez un agent, ou ouvrez-en un existant, et sélectionnez un modèle Realtime dans le menu déroulant. À partir de là, vous disposez de tout ce qu'ElevenAgents offre pour faire fonctionner des agents en déploiement de production. Cela inclut les canaux téléphone, web, WhatsApp et CCaaS, les workflows, une base de connaissances, des garde-fous, les tests et la supervision.
Consultez le Documentation ElevenAgents pour plus de détails.
Via l'API Realtime
Si vous disposez déjà d'une intégration avec l'API Realtime d'OpenAI, le moyen le plus rapide d'essayer Eleven Realtime est de conserver votre code et de changer la destination de celui-ci. L'API Realtime se connecte via WebSocket et suit les spécifications OpenAI Realtime, de sorte que le SDK d'OpenAI fonctionne tel quel.
import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";
const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());
const agent = new RealtimeAgent({
name: "ElevenLabs agent",
instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});
const transport = new OpenAIRealtimeWebSocket({
url: "wss://api.elevenlabs.io/v1/convai/realtime",
});
const session = new RealtimeSession(agent, {
transport,
model: "eleven_realtime_v1_mini",
config: {
outputModalities: ["audio"],
audio: { output: { voice: "brian" } },
},
});
await session.connect({ apiKey: clientSecret });L'API Realtime se connecte uniquement via WebSocket, une intégration WebRTC doit donc d'abord passer à WebSocket. Elle fonctionne également séparément d'ElevenAgents ; si vous avez besoin de canaux, d'une base de connaissances ou d'autres fonctionnalités de la plateforme, construisez dès le départ sur ElevenAgents.
Le guide de migration couvre les étapes et les différences par rapport à l'API d'OpenAI.
Écrit par
Voir le profil