Orange Business est la branche B2B d'Orange Group, l'une des plus grandes entreprises européennes de télécommunications et de services numériques. Live Intelligence est la plateforme d'IA phare d'Orange Business. Elle est déployée auprès de 120,000 employés d'Orange et a déjà été adoptée par plus de 150 clients en France & en Europe.
Les limites de la construction d'une assistance IA à partir de zéro
Lorsqu'Orange Business a développé ses premiers produits d'IA, l'entreprise souhaitait offrir aux clients des moyens sûrs de créer de la valeur avec l'IA.
Live Intelligence Portal permet aux employés de créer des agents d'IA simples et de déclencher des appels API basiques—des capacités qui conviennent aux tâches personnelles de niveau débutant. Orange Business voulait construire ensuite : des agents capables d'orchestrer des processus métier complets à travers des systèmes d'entreprise fragmentés, de gouverner qui peut accéder à quoi, et de fonctionner de manière fiable en production à grande échelle.
Reproduire l'infrastructure d'orchestration, de déploiement, de surveillance et d'observabilité qu'exigent des agents de niveau entreprise aurait toutefois nécessité plus d'un an de développement. Plutôt que de construire à partir de zéro, Orange Business est parti à la recherche de la bonne fondation. C'est ainsi que Live Intelligence Studio est né.
Une évaluation axée d'abord sur l'open source auprès de 20 fournisseurs
Orange Innovation (la branche de veille en innovation d'Orange Group) a évalué environ 20 grands fournisseurs de cloud et solutions spécialisées de fournisseurs d'IA. Ils ont sélectionné LangChain pour sa neutralité vis-à-vis des modèles et sa portabilité—permettant à l'équipe de garder la pleine propriété de l'architecture des agents, et de gérer les charges de travail en réponse aux exigences européennes de souveraineté des données.
Pour les évaluations et l'observabilité, LangSmith était le choix le plus adapté. "Les capacités d'observabilité de LangSmith étaient nettement en avance sur ce que nous aurions pu réaliser de manière réaliste en interne", a déclaré Mathieu Ducrot, responsable des produits IA chez Orange Business. "Le construire nous-mêmes aurait probablement retardé notre feuille de route de douze à dix-huit mois."
Live Intelligence : Studio, Portal et Console
Live Intelligence est structuré autour de trois composants, chacun ciblant un utilisateur différent.
Live Intelligence Studio est l'environnement permettant aux ingénieurs IA et aux développeurs d'agents de concevoir des flux de travail complexes et inter-systèmes : un catalogue LLM-as-a-Service (modèles hébergés sur l'infrastructure d'Orange Business et le cloud public), un constructeur d'agents propulsé par LangSmith Fleet, la prise en charge de MCP, l'observabilité des agents via LangSmith et des outils d'orchestration.
Live Intelligence Portal est l'interface pour les utilisateurs métier finaux : les équipes RH rédigeant des descriptions de poste, les équipes juridiques examinant des clauses de confidentialité (NDA), les équipes logicielles générant automatiquement des scripts de test, les helpdesks construisant des agents de support informatique. Les flux de travail construits dans Live Intelligence Studio peuvent être déployés directement dans Portal, pour une expérience utilisateur finale propre et gouvernée.
Live Intelligence Console offre aux administrateurs d'entreprise visibilité et contrôle : surveillance de l'utilisation, suivi des performances et application des politiques de sécurité et de conformité.
Registres d'agents et de MCP pour une gouvernance inter-organisationnelle
Au-delà des agents individuels, Live Intelligence ajoute deux couches organisationnelles qui le distinguent des déploiements plus simples.
Le Agent Registry permet aux équipes de découvrir, réutiliser, versionner et gouverner les agents et les prompts dans toute l'organisation. Plutôt que chaque équipe reconstruise la même capacité, les agents deviennent des actifs partagés avec une véritable gestion du cycle de vie. Pour la gestion des prompts, Orange utilise LangSmith Context Hub pour maintenir différentes versions de prompts pour chaque environnement. Cela permet de tester et de valider les modifications de prompts avant de les rendre disponibles en production, et sans modifier le code.
Le MCP Registry fournit un catalogue centralisé d'outils, de connecteurs et de capacités externes de confiance. Les agents accèdent aux systèmes d'entreprise (Microsoft 365, CRM, API internes et services personnalisés) via une couche contrôlée et auditable.
Ensemble, ces registres intégrer la logique métier dans la couche plateforme et la retirent des prompts, afin que chaque équipe n'ait pas à résoudre à nouveau l'authentification, la sécurité et la gouvernance à partir de zéro.
LangSmith sur toute la pile d'évaluation
Orange Business exécute en production une évaluation à 3 couches, construite sur LangSmith.
- Qualité du RAG : jeux de données de référence avec paires question-réponse, documents sources attendus, rappel de la recherche, qualité de l'ancrage et fidélité des réponses.
- Comportement des agents : précision de la sélection des outils, taux d'achèvement des tâches, comportement de refus, robustesse face aux injections de prompt et respect des contraintes métier.
- Surveillance des traces en production : latence, coût, utilisation des modèles, exécutions échouées, retours humains et cas d'escalade.
« Avant, déboguer un agent était difficile car les échecs étaient cachés dans le comportement du modèle », a déclaré Mathieu. « Avec LangSmith, les ingénieurs peuvent inspecter chaque étape de l'exécution et comprendre si le problème vient de la recherche, du prompt, du modèle, de l'appel d'outil ou de la logique métier. »
Grâce à cette visibilité partagée, les ingénieurs IA, les ingénieurs backend, les chefs de produit et l'équipe QA peuvent consulter les mêmes traces et résultats d'évaluation au lieu de travailler à partir de vues distinctes et déconnectées.
Valider la qualité et prévenir les régressions avant qu'elles n'affectent les utilisateurs
Orange Business utilise également LangSmith pour imposer l'exécution d'évaluations de régression avant de pousser des changements en production. Les ingénieurs peuvent comparer des versions d'agents, rejouer des traces historiques et valider le comportement avant tout déploiement.
Pour les workflows complexes impliquant plusieurs agents et appels d'outils interagissant entre eux, la visibilité sur l'arbre d'exécution complet permet aux ingénieurs d'identifier et de corriger plus rapidement les connexions défaillantes ou les problèmes. Les inspections pour Orange comprennent généralement :
- Où exactement le workflow a échoué
- Quel agent ou quel outil était en cours d'exécution à ce moment-là
- Quelle entrée a été transmise à cette étape
- Quelle réponse a été reçue
- Combien de temps chaque étape a pris
- Combien d'agents et d'outils ont été exécutés dans le cadre du workflow
- Comment les différentes étapes ont contribué à l'exécution globale
En outre, Orange construit des ensembles de données avec des exemples de traces représentant un comportement d'agent bon ou mauvais, à utiliser dans des évaluations hors ligne pour l'affinage continu des prompts.
Résultats et prochaines étapes
Le système construit par Orange a amélioré l'efficacité opérationnelle entre les équipes, offrant aux ingénieurs et aux SME un workflow partagé pour le développement et l'amélioration des agents.
« Pour nous, l'équipe technique est propriétaire de l'application et de l'implémentation du workflow agentique, tandis que l'équipe métier peut participer activement à l'amélioration des prompts et à l'évaluation de la qualité. LangSmith transforme l'itération des prompts, le tracing et l'évaluation en un seul workflow d'amélioration continue », a déclaré Mathieu Ducrot, Head of AI Products. Orange prévoit de s'appuyer sur cette boucle d'amélioration en étendant la collaboration d'équipe aux évaluations en ligne pour des cycles de retour encore plus riches.
Pour l'avenir, l'équipe travaille sur l'automatisation de processus métier plus complexes. Par exemple, des agents qui prennent en charge l'intégralité du processus de réclamation d'assurance, avec des intégrations aux workflows CRM et juridiques, ainsi qu'un agent capable de surveiller des capteurs de sécurité dans un port pour l'intervention d'urgence des ingénieurs de terrain.
Vous construisez une plateforme d'IA d'entreprise ? En savoir plus sur LangSmith et Live Intelligence.