Orange Business es la división B2B de Orange Group, una de las mayores empresas europeas de telecomunicaciones y servicios digitales. Live Intelligence es la plataforma insignia de IA de Orange Business. Está desplegada entre 120,000 empleados de Orange y ya ha sido adoptada por más de 150 clientes en Francia y Europa.
Los límites de construir asistencia de IA desde cero
Cuando Orange Business desarrolló sus primeros productos de IA, querían ofrecer a los clientes formas seguras de generar valor con la IA.
Live Intelligence Portal permite a los empleados crear agentes de IA simples y activar llamadas básicas a APIs: capacidades que funcionan para tareas personales de nivel básico. Orange Business quería construir después: agentes que pudieran orquestar procesos comerciales completos a través de sistemas empresariales fragmentados, gobernar quién puede acceder a qué y funcionar de manera fiable en producción a gran escala.
Reproducir la infraestructura de orquestación, despliegue, monitorización y observabilidad que requieren los agentes de nivel empresarial habría llevado más de un año de desarrollo. En lugar de construir desde cero, Orange Business buscó la base adecuada. Así nació Live Intelligence Studio.
Una evaluación de código abierto primero entre 20 proveedores
Orange Innovation (la rama de detección de innovación de Orange Group) evaluó aproximadamente 20 grandes proveedores de nube y soluciones especializadas de proveedores de IA. Seleccionaron LangChain por su neutralidad de modelos y portabilidad, lo que permite al equipo mantener la propiedad total de la arquitectura de agentes y gestionar las cargas de trabajo en respuesta a los requisitos europeos de soberanía de datos.
Para evaluaciones y observabilidad, LangSmith fue la mejor opción. "Las capacidades de observabilidad de LangSmith estaban muy por delante de lo que podríamos construir de manera realista internamente", dijo Mathieu Ducrot, Director de Productos de IA en Orange Business. "Construirlo nosotros mismos probablemente habría retrasado nuestra hoja de ruta entre doce y dieciocho meses."
Live Intelligence: Studio, Portal y Console
Live Intelligence se estructura en torno a tres componentes, cada uno dirigido a un usuario diferente.
Live Intelligence Studio es el entorno para que los ingenieros de IA y los desarrolladores de agentes diseñen flujos de trabajo complejos entre sistemas: un catálogo de LLM-as-a-Service (modelos alojados en la infraestructura de Orange Business y en la nube pública), un constructor de agentes impulsado por LangSmith Fleet, soporte de MCP, observabilidad de agentes a través de LangSmith y herramientas de orquestación.
Live Intelligence Portal es la interfaz para los usuarios finales de negocio: equipos de RR. HH. redactando descripciones de puestos, equipos legales revisando cláusulas de NDA, equipos de software generando automáticamente scripts de prueba, helpdesks creando agentes de soporte de TI. Los flujos de trabajo creados en Live Intelligence Studio pueden desplegarse directamente en Portal, para una experiencia de usuario final limpia y gobernada.
Live Intelligence Console ofrece a los administradores empresariales visibilidad y control: monitorización de uso, seguimiento del rendimiento y aplicación de políticas de seguridad y cumplimiento.
Registros de agentes y MCP para la gobernanza entre organizaciones
Más allá de los agentes individuales, Live Intelligence añade dos capas organizativas que lo distinguen de despliegues más simples.
El Agent Registry permite a los equipos descubrir, reutilizar, versionar y gobernar agentes y prompts en toda la organización. En lugar de que cada equipo reconstruya la misma capacidad, los agentes se convierten en activos compartidos con una gestión adecuada del ciclo de vida. Para la gestión de prompts, Orange utiliza LangSmith Context Hub para mantener diferentes versiones de prompts para cada entorno. Esto permite probar y validar los cambios de prompts antes de hacerlos disponibles en producción, y sin realizar cambios en el código.
El Registro de MCP proporciona un catálogo centralizado de herramientas confiables, conectores y capacidades externas. Los agentes acceden a los sistemas empresariales (Microsoft 365, CRM, APIs internas y servicios personalizados) a través de una capa controlada y auditable.
Juntas, estos registros trasladan la lógica de negocio a la capa de plataforma y fuera de los prompts, de modo que cada equipo no tenga que resolver de nuevo la autenticación, la seguridad y la gobernanza desde cero.
LangSmith en toda la pila de evaluación
Orange Business ejecuta una evaluación de 3 capas en producción, construida sobre LangSmith.
- Calidad del RAG: conjuntos de datos dorados con pares de pregunta y respuesta, documentos fuente esperados, recuperación (recall), calidad de la fundamentación y fidelidad de las respuestas.
- Comportamiento del agente: precisión en la selección de herramientas, tasas de finalización de tareas, comportamiento de rechazo, robustez frente a la inyección de prompts y adherencia a las restricciones del negocio.
- Monitoreo de trazas en producción: latencia, costo, uso de modelos, ejecuciones fallidas, retroalimentación humana y casos de escalamiento.
"Antes, depurar un agente era difícil porque los fallos quedaban ocultos dentro del comportamiento del modelo", dijo Mathieu. "Con LangSmith, los ingenieros pueden inspeccionar cada paso de la ejecución y entender si el problema proviene de la recuperación, del prompt, del modelo, de la llamada a la herramienta o de la lógica de negocio.".
Con esa visibilidad compartida, los ingenieros de IA, los ingenieros de backend, los gerentes de producto y QA pueden examinar las mismas trazas y resultados de evaluación en lugar de trabajar desde vistas separadas y desconectadas.
Validar la calidad y prevenir regresiones antes de que afecten a los usuarios
Orange Business también usa LangSmith para exigir la ejecución de evaluaciones de regresión antes de llevar cambios a producción. Los ingenieros pueden comparar versiones de agentes, reproducir trazas históricas y validar el comportamiento antes de cualquier despliegue.
Para flujos de trabajo complejos con múltiples agentes y llamadas a herramientas que interactúan entre sí, la visibilidad del árbol de ejecución completo permite a los ingenieros identificar y corregir conexiones rotas o problemas más rápido. Las inspecciones en Orange suelen incluir:
- Dónde exactamente falló el flujo de trabajo
- Qué agente o herramienta se estaba ejecutando en ese momento
- Qué entrada se pasó a ese paso
- Qué respuesta se recibió
- Cuánto tardaron los pasos individuales
- Cuántos agentes y herramientas se ejecutaron como parte del flujo de trabajo
- Cómo contribuyeron los diferentes pasos a la ejecución general
Además, Orange crea conjuntos de datos con ejemplos de trazas que representan un comportamiento bueno o malo de los agentes para usarlos en evaluaciones offline y en el refinamiento continuo de prompts.
Resultados y próximos pasos
El sistema que Orange construyó ha mejorado la eficiencia operativa en todos los equipos, ofreciendo a ingenieros y SMEs un flujo de trabajo compartido para el desarrollo y la mejora de agentes.
“Para nosotros, el equipo técnico es propietario de la aplicación y de la implementación del flujo de trabajo agéntico, mientras que el equipo de negocio puede participar activamente en la mejora de prompts y en la evaluación de calidad. LangSmith convierte la iteración de prompts, el trazado y la evaluación en un único flujo de trabajo de mejora continua”, dijo Mathieu Ducrot, Head of AI Products. Orange planea aprovechar ese bucle de mejora ampliando la colaboración del equipo hacia evaluaciones online para ciclos de retroalimentación aún más ricos.
De cara al futuro, el equipo está trabajando en la automatización de procesos de negocio más complejos. Por ejemplo, agentes que apoyen todo el proceso de reclamaciones de seguros, con integraciones de CRM y flujos de trabajo legales, así como un agente capaz de monitorear sensores de seguridad en un puerto para intervenciones de emergencia de ingenieros de campo.
¿Construyendo una plataforma de IA empresarial? Aprenda más sobre LangSmith y Live Intelligence.