Orange Business Orange GroupのB2B部門であり、Orange Groupは欧州最大級の通信・デジタルサービス企業の一つです。 ライブ・インテリジェンス Orange Businessの主力AIプラットフォームです。Orange社員120,000人に展開されており、すでにフランスおよびヨーロッパで150社以上の顧客に採用されています。
ゼロからAIアシスタンスを構築することの限界
Orange Businessが初のAI製品を開発した際、顧客にAIで価値を生み出す安全な方法を提供したいと考えていました。
Live Intelligence Portal は、従業員が簡単なAIエージェントを作成し、基本的なAPI呼び出しを実行できるもので、初級レベルの個人タスクに対応する機能です。Orange Businessが次に目指したのは、分断された企業システム全体にわたって完全なビジネスプロセスをオーケストレーションし、誰が何にアクセスできるかを統制し、大規模な本番環境で確実に動作するエージェントの構築でした。
しかし、エンタープライズグレードのエージェントに必要なオーケストレーション、デプロイ、監視、そしてオブザーバビリティのインフラを再現するには、1年以上の開発が必要となるところでした。Orange Businessはゼロから構築するのではなく、適切な基盤を探すことにしました。こうしてLive Intelligence Studioが誕生したのです。
20ベンダーにわたるオープンソースファーストの評価
Orange Innovation(Orange Groupのイノベーション調査部門)は、主要クラウドプロバイダーおよびAI専門ベンダーのソリューション約20社を評価しました。同社は、モデルニュートラルで移植性が高く、チームがエージェントアーキテクチャの完全な所有権を維持でき、欧州のデータ主権要件に対応してワークロードを管理できることから、LangChainを選定しました。
評価とオブザーバビリティの分野では、LangSmithが最も適合度の高い選択肢でした。 「LangSmithのオブザーバビリティ機能は、私たちが社内で現実的に構築できるものを大幅に上回っていました」 とOrange BusinessのAI Products責任者、Mathieu Ducrot氏は述べた。 「自分たちで構築していたら、ロードマップが12〜18か月遅れていた可能性が高いでしょう。」
Live Intelligence: Studio、Portal、Console
Live Intelligenceは3つのコンポーネントを中心に構成されており、それぞれが異なるユーザーを対象としています。
ライブ・インテリジェンス・スタジオ は、AIエンジニアやエージェント開発者が複雑なクロスシステムワークフローを設計するための環境です。LLM-as-a-Serviceカタログ(Orange Businessインフラストラクチャおよびパブリッククラウド上でホストされるモデル)、そして次の機能によって構成されるエージェントビルダー、 LangSmith Fleet「、MCPサポート、LangSmithによるエージェントのオブザーバビリティ、およびオーケストレーションツール。」
ライブインテリジェンスポータル ビジネスエンドユーザー向けのインターフェースです。採用担当チームが職務記述書を作成したり、法務チームがNDA条項をレビューしたり、ソフトウェアチームがテストスクリプトを自動生成したり、ヘルプデスクがITサポートエージェントを構築したりするために利用されます。Live Intelligence Studioで構築されたワークフローは、クリーンで管理されたエンドユーザー体験のために、Portalに直接デプロイできます。
ライブ・インテリジェンス・コンソール エンタープライズ管理者に可視性と管理機能を提供します。使用状況のモニタリング、パフォーマンスの追跡、セキュリティおよびコンプライアンスポリシーの施行です。
組織横断ガバナンスのためのエージェントおよびMCPレジストリ
個々のエージェントにとどまらず、Live Intelligenceは、より単純な導入形態と一線を画す2つの組織的レイヤーを追加します。
The エージェントレジストリ チームが組織全体でエージェントやプロンプトを発見、再利用、バージョン管理、ガバナンスできるようにします。すべてのチームが同じ機能を再構築するのではなく、エージェントは適切なライフサイクル管理を備えた共有アセットになります。プロンプト管理において、OrangeはLangSmith Context Hubを使用して環境ごとに異なるプロンプトバージョンを維持しています。これにより、コードを変更することなく、本番環境で変更を利用可能にする前にプロンプトの変更をテストおよび検証できます。
ザ MCP Registry 信頼できるツール、コネクタ、外部ケイパビリティの一元化されたカタログを提供します。エージェントは、管理された監査可能なレイヤーを通じてエンタープライズシステム（Microsoft 365、CRM、内部API、カスタムサービス）にアクセスします。
これらのレジストリが組み合わさることで、ビジネスロジックはプロンプトから切り離され、プラットフォーム層に引き上げられます。これにより、各チームが認証、セキュリティ、ガバナンスをゼロから解決し直す必要がなくなります。
LangSmith による評価スタック全体のカバー
Orange Business は、LangSmith を基盤として、本番環境で 3層の評価を実施しています。
- RAGの品質: 質問と回答のペア、期待されるソース文書、検索の再現率、グラウンディングの品質、回答の忠実性を含むゴールデンデータセット。
- エージェントの挙動: ツール選択の正確さ、タスク完了率、拒否の挙動、プロンプトインジェクションへの耐性、ビジネス制約の遵守。
- 本番トレースのモニタリング: レイテンシ、コスト、モデルの使用状況、失敗した実行、人間によるフィードバック、エスカレーション事例。
「以前は、失敗がモデルの挙動の中に隠れていたため、エージェントのデバッグは困難でした」と Mathieu は述べています。 「LangSmith を使えば、エンジニアは実行の各ステップを検査し、問題が検索、プロンプト、モデル、ツール呼び出し、ビジネスロジックのどれに起因するのかを把握できます。」
この共有された可視性により、AIエンジニア、バックエンドエンジニア、プロダクトマネージャー、QAは、それぞれ独立した分断されたビューで作業するのではなく、同じトレースと評価結果を参照できます。
ユーザーに影響を与える前に品質を検証し、リグレッションを防止する
Orange Business はまた、変更を本番環境にプッシュする前にリグレッション評価を実行することを LangSmith で強制しています。エンジニアはエージェントのバージョンを比較し、過去のトレースを再生し、デプロイ前に挙動を検証できます。
複数のエージェントやツール呼び出しが相互にやり取りする複雑なワークフローでは、実行ツリー全体を可視化できることで、エンジニアは壊れた接続や問題をより速く特定し修正できます。Orangeのインスペクションには通常、以下が含まれます:
- ワークフローが正確にどこで失敗したか
- その時点でどのエージェントまたはツールが実行されていたか
- そのステップにどんな入力が渡されたか
- どんな応答が受け取られたか
- 個々のステップにかかった時間
- ワークフローの一環としていくつのエージェントとツールが実行されたか
- さまざまなステップが実行全体にどう貢献したか
さらに、Orangeは、優良または不良のエージェント挙動を表すトレース例でデータセットを構築し、継続的なプロンプト改善のためのオフライン評価に活用しています。
成果と今後の展望
Orangeが構築したシステムは、チーム全体の運用効率を向上させ、エンジニアとSMEにエージェントの開発と改善のための共有ワークフローを提供しました。
「私たちの場合、技術チームがアプリケーションとエージェントワークフローの実装を担当し、ビジネスチームはプロンプトの改善と品質評価に積極的に参加できます。LangSmithは、プロンプトの反復、トレーシング、評価を一つの継続的な改善ワークフローに変えてくれます」と、AIプロダクト責任者のMathieu Ducrot氏は述べています。 Orangeは、この改善ループを発展させ、チームコラボレーションをオンライン評価へと拡大し、さらにリッチなフィードバックサイクルを目指しています。
今後、チームはより複雑なビジネスプロセスの自動化に取り組んでいます。例えば、CRMおよび法務ワークフローとの統合を備え、保険請求プロセス全体をサポートするエージェントや、港のセキュリティセンサーを監視して現場エンジニアの緊急対応を支援できるエージェントなどです。
エンタープライズAIプラットフォームの構築をお考えですか?詳しくは LangSmith および Live Intelligence.