Orange Business ist der B2B-Zweig der Orange Group, eines der größten Telekommunikations- und Digitaldienstleistungsunternehmen Europas. Live Intelligence ist die KI-Flaggschiffplattform von Orange Business. Sie ist bei 120,000 Orange-Mitarbeitenden im Einsatz und wurde bereits von über 150 Kunden in Frankreich & Europa übernommen.
Die Grenzen des Aufbaus einer KI-Unterstützung von Grund auf
Als Orange Business seine ersten KI-Produkte entwickelte, wollte man Kunden sichere Wege bieten, mit KI Mehrwert zu schaffen.
Das Live Intelligence Portal ermöglicht es Mitarbeitenden, einfache KI-Agenten zu erstellen und grundlegende API-Aufrufe auszulösen – Funktionen, die für einfache persönliche Aufgaben geeignet sind. Orange Business wollte als Nächstes Folgendes entwickeln: Agenten, die komplette Geschäftsprozesse über fragmentierte Unternehmenssysteme hinweg orchestrieren, steuern können, wer auf was zugreifen kann, und zuverlässig in großem Maßstab im Produktivbetrieb laufen können.
Die Orchestrierungs-, Deployment-, Monitoring- und Observability-Infrastruktur, die Agenten auf Enterprise-Niveau benötigen, selbst nachzubauen, hätte jedoch über ein Jahr Entwicklungsarbeit erfordert. Anstatt alles von Grund auf zu bauen, suchte Orange Business nach der richtigen Grundlage. So entstand Live Intelligence Studio.
Eine Open-Source-First-Evaluation über 20 Anbieter hinweg
Orange Innovation (die Innovations-Scouting-Einheit der Orange Group) evaluierte rund 20 große Cloud-Anbieter sowie spezialisierte Lösungen von KI-Anbietern. Die Wahl fiel auf LangChain wegen seiner Modellneutralität und Portabilität – dies ermöglichte dem Team, die volle Kontrolle über die Agentenarchitektur zu behalten und Workloads entsprechend den europäischen Anforderungen an Datensouveränität zu verwalten.
Für Evaluierungen und Observability war LangSmith die beste Wahl. "Die Observability-Funktionen in LangSmith waren deutlich besser als das, was wir intern realistisch hätten bauen können", sagte Mathieu Ducrot, Head of AI Products bei Orange Business. "Wenn wir es selbst gebaut hätten, hätte das unseren Fahrplan wahrscheinlich um zwölf bis achtzehn Monate verzögert."
Live Intelligence: Studio, Portal und Console
Live Intelligence ist um drei Komponenten strukturiert, die jeweils auf eine andere Zielgruppe ausgerichtet sind.
Live Intelligence Studio ist die Umgebung für KI-Ingenieure und Agentenentwickler, um komplexe, systemübergreifende Workflows zu entwerfen: ein LLM-as-a-Service-Katalog (Modelle, gehostet auf der Infrastruktur von Orange Business und in der Public Cloud), ein Agent Builder, der auf LangSmith Fleetbasiert, MCP-Unterstützung, Agent-Observability über LangSmith sowie Orchestrierungs-Tools.
Live Intelligence Portal ist die Schnittstelle für geschäftliche Endnutzer: HR-Teams, die Stellenbeschreibungen entwerfen, Rechtsteams, die NDA-Klauseln prüfen, Softwareteams, die Testskripte automatisch generieren, Helpdesks, die IT-Support-Agenten erstellen. In Live Intelligence Studio erstellte Workflows können direkt ins Portal bereitgestellt werden – für ein sauberes, kontrolliertes Endnutzer-Erlebnis.
Live Intelligence Console gibt Unternehmensadministratoren Übersicht und Kontrolle: Nutzungsmonitoring, Leistungsnachverfolgung sowie Durchsetzung von Sicherheits- und Compliance-Richtlinien.
Agenten- und MCP-Registries für organisationsübergreifende Governance
Über einzelne Agenten hinaus fügt Live Intelligence zwei Organisationsebenen hinzu, die es von einfacheren Deployments unterscheiden.
Die Agent Registry ermöglicht es Teams, Agenten und Prompts organisationweit zu entdecken, wiederzuverwenden, zu versionieren und zu steuern. Anstatt dass jedes Team dieselbe Fähigkeit neu aufbaut, werden Agenten zu gemeinsam genutzten Assets mit ordentlichem Lifecycle-Management. Für das Prompt-Management nutzt Orange den LangSmith Context Hub, um unterschiedliche Prompt-Versionen für jede Umgebung zu pflegen. Dies ermöglicht das Testen und Validieren von Prompt-Änderungen, bevor sie in der Produktion verfügbar gemacht werden – und ganz ohne Änderungen am Code.
Die MCP Registry bietet einen zentralen Katalog vertrauenswürdiger Tools, Konnektoren und externer Fähigkeiten. Agents greifen über eine kontrollierte, prüfbare Schicht auf Unternehmenssysteme (Microsoft 365, CRMs, interne APIs und kundenspezifische Dienste) zu.
Gemeinsam verlagern diese Registries Geschäftslogik in die Plattformschicht und aus den Prompts heraus, sodass nicht jedes Team Authentifizierung, Sicherheit und Governance von Grund auf neu lösen muss.
LangSmith über den gesamten Evaluations-Stack
Orange Business betreibt in Produktion eine 3-Schicht-Evaluation, aufgebaut auf LangSmith.
- RAG-Qualität: Golden Datasets mit Frage-Antwort-Paaren, erwarteten Quelldokumenten, Retrieval-Recall, Grounding-Qualität und Antworttreue.
- Agentenverhalten: Genauigkeit der Tool-Auswahl, Aufgabenabschlussraten, Verweigungsverhalten, Robustheit gegenüber Prompt Injection und Einhaltung von Geschäftsbedingungen.
- Monitoring von Production Traces: Latenz, Kosten, Modellnutzung, fehlgeschlagene Läufe, menschliches Feedback und Eskalationsfälle.
"Früher war das Debugging eines Agenten schwierig, weil Fehler im Modellverhalten verborgen blieben", sagte Mathieu. "Mit LangSmith können Ingenieure jeden Schritt der Ausführung untersuchen und verstehen, ob das Problem vom Retrieval, vom Prompt, vom Modell, vom Tool-Aufruf oder von der Geschäftslogik stammt."
Mit dieser gemeinsamen Sichtbarkeit können AI-Ingenieure, Backend-Ingenieure, Produktmanager und QA dieselben Traces und Evaluationsergebnisse betrachten, anstatt aus getrennten, nicht verbundenen Ansichten zu arbeiten.
Qualität validieren und Regressionen verhindern, bevor sie Nutzer beeinträchtigen
Orange Business nutzt LangSmith auch, um laufende Regressionsevaluationen durchzusetzen, bevor Änderungen in die Produktion überführt werden. Ingenieure können Agentenversionen vergleichen, historische Traces abspielen und das Verhalten vor jeder Bereitstellung validieren.
Bei komplexen Workflows mit mehreren Agenten und Toolaufrufen, die miteinander interagieren, ermöglicht die Einsicht in den vollständigen Ausführungsbaum Ingenieuren, defekte Verbindungen oder Probleme schneller zu identifizieren und zu beheben. Inspektionen bei Orange umfassen typischerweise:
- Wo genau der Workflow fehlgeschlagen ist
- Welcher Agent oder welches Tool zu diesem Zeitpunkt ausgeführt wurde
- Welche Eingabe an diesen Schritt übergeben wurde
- Welche Antwort empfangen wurde
- Wie lange einzelne Schritte gedauert haben
- Wie viele Agenten und Tools als Teil des Workflows ausgeführt wurden
- Wie die verschiedenen Schritte zur Gesamtausführung beigetragen haben
Darüber hinaus erstellt Orange Datensätze mit Trace-Beispielen, die entweder gutes oder schlechtes Agentenverhalten darstellen, um sie in Offline-Evals für die kontinuierliche Verfeinerung von Prompts zu verwenden.
Ergebnisse und nächste Schritte
Das von Orange aufgebaute System hat die operative Effizienz über Teams hinweg verbessert und Ingenieuren sowie SMEs einen gemeinsamen Workflow für die Entwicklung und Verbesserung von Agenten gegeben.
„Für uns besitzt das technische Team die Anwendung und die Implementierung des agentischen Workflows, während das Geschäftsteam aktiv an der Verbesserung von Prompts und der Qualitätsbewertung teilnehmen kann. LangSmith macht Prompt-Iteration, Tracing und Evaluation zu einem kontinuierlichen Verbesserungsworkflow“, sagte Mathieu Ducrot, Head of AI Products. Orange plant, auf diese Verbesserungsschleife aufzubauen, indem die Teamzusammenarbeit auf Online-Evals ausgeweitet wird, um noch vielfältigere Feedback-Zyklen zu ermöglichen.
Für die Zukunft arbeitet das Team an der Automatisierung komplexerer Geschäftsprozesse. Beispielsweise Agenten, die den gesamten Versicherungsanspruchsprozess unterstützen, mit CRM- und Legal-Workflow-Integrationen, sowie einen Agenten, der Sicherheitssensoren in einem Hafen für den Notfall-Einsatz von Feldtechnikern überwachen kann.
Bauen Sie eine KI-Plattform für Unternehmen? Erfahren Sie mehr über LangSmith und Live Intelligence.