Crear hoy en día un agente de voz que suene natural requiere tomar muchas decisiones. Tienes que elegir componentes individuales como el reconocimiento de voz, la detección de actividad vocal, la gestión de turnos de habla, el LLM subyacente y la síntesis de voz. Construir esta pila es un proyecto en sí mismo, y hacer que todos los componentes funcionen bien juntos requiere más pruebas y ajustes.
Eleven Realtime es una nueva clase de modelos de voz a voz (Speech to Speech) que elimina esos obstáculos. Cada modelo es un agente de voz completo, optimizado para casos de uso específicos. Ambos admiten más de 90 idiomas y pueden usar cualquiera de las más de 17,000 voces de la biblioteca de ElevenLabs:
Hoy lanzamos:
- Eleven Realtime v1 Mini para conversaciones naturales a bajo costo. Es la mejor opción para asistentes de IA, profesores y personajes interactivos, y será suficiente para la mayoría de los casos de uso.
- Eleven Realtime v1 Max para tareas complejas. Es ideal para atención al cliente, calificación de prospectos y flujos de trabajo de varios pasos, donde el agente debe seguir un proceso y razonar paso a paso.
Por qué creamos los modelos en tiempo real
No deberías tener que convertirte en un experto en configuración para crear un agente de voz que suene natural. Lograr que un agente se sienta y suene bien se trata de pequeñas decisiones que requieren sutileza, como cuánto tiempo esperar después de una pausa antes de responder, cómo recuperarse cuando el usuario interrumpe al agente y cómo funcionan juntos la voz, los prompts y el modelo. En ElevenAgents, todos estos son ajustes que puedes modificar.
Lo mismo aplica para los desarrolladores que ya usan una API en tiempo real. La nuestra es compatible con la Realtime API de OpenAI, por lo que probar Eleven Realtime simplemente significa cambiar el endpoint y el nombre del modelo en el código que quizás ya tengas.
Construido sobre una arquitectura en cascada
Eleven Realtime está construido sobre una arquitectura en cascada de los componentes descritos anteriormente, ajustada de extremo a extremo. Los llamamos modelos de voz a voz (Speech to Speech) porque eso es lo que obtienes: audio de entrada, audio de salida, un ID de modelo y un sistema que puede medirse en las mismas tablas de clasificación que los modelos fusionados y dúplex.
Los modelos fusionados inicialmente marcaron el estándar de cuán natural puede sentirse un agente de voz, mientras que una configuración en cascada significaba una mayor latencia en cada transferencia y componentes nunca ajustados entre sí. Realtime elimina esa disyuntiva, y el ajuste que solía ser tu proyecto ya está hecho.
La cascada también tiene ventajas prácticas en producción, porque cada paso produce texto. Puedes ver lo que el agente escuchó y lo que decidió decir, por lo que puedes distinguir una palabra mal escuchada de una decisión incorrecta. Ese mismo texto es lo que permite a ElevenAgents aplicar barreras de seguridad y redacción de PII a un agente Realtime.
Los benchmarks siguientes son la prueba de si esa disyuntiva realmente desapareció. En dinámicas conversacionales, ambos modelos puntúan en el mismo rango que los modelos fusionados. En precisión y velocidad juntas, ningún modelo de la tabla de clasificación de Artificial Analysis es a la vez más rápido y más preciso que v1 Max.
Cómo funcionan
Artificial Analysis evaluó ambos modelos de forma independiente en tres benchmarks públicos: Big Bench Audio para razonamiento de voz, Full-Duplex-Bench para dinámicas conversacionales y Speech Agent Arena para preferencia humana y éxito en tareas.
Razonamiento de voz
Big Bench Audio plantea 1,000 preguntas de razonamiento por voz y califica la respuesta hablada. Realtime v1 Max respondió correctamente el 98.8% de las preguntas, y v1 Mini respondió correctamente el 75.9%.
Velocidad
Big Bench Audio plantea 1,000 preguntas de razonamiento por voz y califica la respuesta hablada. V1 Max comienza a hablar en 0.57 segundos en promedio, y v1 Mini en 0.62 segundos.
La frontera de Pareto para precisión y velocidad
Precisión y velocidad suelen considerarse una disyuntiva. Los modelos con puntuaciones más altas en Big Bench Audio son los que tardan más en responder, y los más rápidos sacrifican mucha precisión. v1 Max destaca en ambas métricas.
Dinámicas conversacionales y preferencias humanas
En Full-Duplex-Bench, que evalúa pausas, turnos de habla, interrupciones y reacciones verbales, v1 Mini obtiene 95.8% y v1 Max 94.1%. En el Speech Agent Arena, donde las personas comparan dos modelos en conversaciones en vivo a ciegas, v1 Max obtuvo 998 y v1 Mini 988. En tareas de uso de herramientas, v1 Max completó 87.1% y v1 Mini 60.3%, por lo que recomendamos Max para casos de uso con uso intensivo de herramientas.
Comienza a usarlo
En ElevenAgents (recomendado)
Crea un agente, o abre uno existente, y selecciona un modelo Realtime en el menú desplegable. A partir de ahí tienes todo lo que ElevenAgents ofrece para ejecutar agentes en implementación de producción. Esto incluye canales de teléfono, web, WhatsApp y CCaaS, flujos de trabajo, una base de conocimiento, barreras de seguridad, pruebas y monitoreo.
Consulta el Documentación de ElevenAgents para más detalles.
A través de la API de Realtime
Si ya tienes una integración con la API de Realtime de OpenAI, la forma más rápida de probar Eleven Realtime es mantener tu código y cambiar a dónde apunta. La API de Realtime se conecta a través de WebSocket y sigue las especificaciones de OpenAI Realtime, por lo que el SDK de OpenAI funciona tal cual.
import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";
const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());
const agent = new RealtimeAgent({
name: "ElevenLabs agent",
instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});
const transport = new OpenAIRealtimeWebSocket({
url: "wss://api.elevenlabs.io/v1/convai/realtime",
});
const session = new RealtimeSession(agent, {
transport,
model: "eleven_realtime_v1_mini",
config: {
outputModalities: ["audio"],
audio: { output: { voice: "brian" } },
},
});
await session.connect({ apiKey: clientSecret });La API de Realtime se conecta solo a través de WebSocket, por lo que una integración con WebRTC necesita migrar primero a WebSocket. También funciona de forma separada de ElevenAgents, por lo que si necesitas canales, una base de conocimiento u otras funciones de la plataforma, construye sobre ElevenAgents desde el principio.
La guía de migración cubre los pasos y las diferencias con la API de OpenAI.
Escrito por
Ver perfil