Orange Business 유럽 최대의 통신 및 디지털 서비스 기업 중 하나인 Orange Group의 B2B 부문입니다. 라이브 인텔리전스 는 Orange Business의 대표 AI 플랫폼입니다. Orange 직원 120,000명에게 배포되어 있으며, 이미 프랑스와 유럽에서 150개 이상의 고객사가 채택했습니다.
처음부터 AI 어시스턴스를 구축하는 것의 한계
Orange Business가 첫 번째 AI 제품을 개발할 때, 고객이 AI로 가치를 창출할 수 있는 안전한 방법을 제공하고자 했습니다.
Live Intelligence Portal은 직원들이 간단한 AI 에이전트를 만들고 기본적인 API 호출을 트리거할 수 있게 해주며, 이는 초급 수준의 개인 업무에 활용할 수 있는 기능입니다. Orange Business는 한 단계 더 나아가, 분산된 기업 시스템 전반에서 완전한 비즈니스 프로세스를 오케스트레이션하고, 누가 무엇에 접근할 수 있는지를 거버넌스하며, 대규모 프로덕션 환경에서 안정적으로 실행되는 에이전트를 구축하고자 했습니다.
그러나 엔터프라이즈급 에이전트에 필요한 오케스트레이션, 배포, 모니터링, 관측 가능성 인프라를 재현하려면 1년 이상의 개발 기간이 필요했을 것입니다. 처음부터 직접 만드는 대신, Orange Business는 적합한 기반을 찾아 나섰습니다. 이렇게 탄생한 것이 Live Intelligence Studio입니다.
20개 벤더를 대상으로 한 오픈 소스 우선 평가
Orange Innovation(Orange Group의 혁신 스카우팅 부서)은 약 20개의 주요 클라우드 제공업체와 전문 AI 벤더 솔루션을 평가했습니다. 이들은 모델 중립성과 이식성 덕분에 LangChain을 선정했으며, 이를 통해 팀이 에이전트 아키텍처에 대한 완전한 소유권을 유지하고 유럽의 데이터 주권 요구 사항에 대응하여 워크로드를 관리할 수 있게 되었습니다.
평가 및 관측 가능성 측면에서는 LangSmith가 가장 적합했습니다. "LangSmith의 관측 기능은 우리가 내부적으로 현실적으로 구축할 수 있는 수준을 크게 앞서 있었습니다," Orange Business의 AI Products 책임자인 Mathieu Ducrot이 말했습니다. "이를 직접 구축했더라면 로드맵이 12~18개월 늦어졌을 가능성이 높습니다."
Live Intelligence: Studio, Portal, 및 Console
Live Intelligence는 세 가지 구성 요소를 중심으로 구성되어 있으며, 각각 서로 다른 사용자를 대상으로 합니다.
Live Intelligence Studio AI 엔지니어와 에이전트 개발자가 복잡한 크로스 시스템 워크플로를 설계할 수 있는 환경입니다: LLM-as-a-Service 카탈로그(Orange Business 인프라 및 퍼블릭 클라우드에서 호스팅되는 모델), 다음으로 구동되는 에이전트 빌더 LangSmith Fleet, MCP 지원, LangSmith를 통한 에이전트 관측성 및 오케스트레이션 도구.
라이브 인텔리전스 포털 비즈니스 최종 사용자를 위한 인터페이스입니다: 채용 공고를 작성하는 HR 팀, NDA 조항을 검토하는 법무 팀, 테스트 스크립트를 자동 생성하는 소프트웨어 팀, IT 지원 에이전트를 구축하는 헬프데스크가 여기에 해당합니다. Live Intelligence Studio에서 구축된 워크플로는 깔끔하고 통제된 최종 사용자 경험을 위해 Portal에 직접 배포할 수 있습니다.
실시간 인텔리전스 콘솔 기업 관리자에게 가시성과 통제력을 제공합니다: 사용량 모니터링, 성능 추적, 보안 및 규정 준수 정책의 시행.
크로스 조직 거버넌스를 위한 에이전트 및 MCP 레지스트리
개별 에이전트를 넘어, Live Intelligence는 더 단순한 배포 방식과 차별화되는 두 가지 조직적 계층을 추가합니다.
그 에이전트 레지스트리 조직 전반에서 팀들이 에이전트와 프롬프트를 발견하고, 재사용하고, 버전 관리하고, 거버넌스할 수 있게 해줍니다. 모든 팀이 동일한 기능을 다시 구축하는 대신, 에이전트는 적절한 수명 주기 관리를 갖춘 공유 자산이 됩니다. 프롬프트 관리를 위해 Orange는 LangSmith Context Hub를 사용하여 각 환경에 맞는 여러 프롬프트 버전을 유지합니다. 이를 통해 코드를 변경하지 않고도 프로덕션 환경에 변경 사항을 제공하기 전에 프롬프트 변경 사항을 테스트하고 검증할 수 있습니다.
그 MCP Registry 는 신뢰할 수 있는 도구, 커넥터, 외부 기능을 위한 중앙화된 카탈로그를 제공합니다. 에이전트는 통제되고 감사 가능한 레이어를 통해 엔터프라이즈 시스템(Microsoft 365, CRM, 내부 API, 커스텀 서비스)에 접근합니다.
이러한 레지스트리들이 함께 비즈니스 로직을 프롬프트 밖으로 빼내 플랫폼 레이어로 가져옴으로써, 각 팀이 인증, 보안, 거버넌스를 처음부터 다시 해결할 필요가 없어집니다.
전체 평가 스택을 아우르는 LangSmith
Orange Business는 LangSmith를 기반으로 프로덕션 환경에서 3계층 평가를 운영합니다.
- RAG 품질: 질문-답변 쌍, 예상 소스 문서, 검색 재현율, 그라운딩 품질, 답변 충실도를 포함하는 골든 데이터셋.
- 에이전트 행동: 도구 선택 정확도, 작업 완료율, 거부 행동, 프롬프트 인젝션에 대한 견고성, 비즈니스 제약 준수.
- 프로덕션 트레이스 모니터링: 지연 시간, 비용, 모델 사용량, 실패한 실행, 인간 피드백, 에스컬레이션 사례.
"이전에는 장애가 모델 동작 내부에 숨어 있어 에이전트를 디버깅하기 어려웠습니다" 라고 Mathieu가 말했습니다. "LangSmith를 사용하면 엔지니어가 실행의 각 단계를 검토하여 문제가 검색, 프롬프트, 모델, 도구 호출, 비즈니스 로직 중 어디에서 발생했는지 파악할 수 있습니다."
이러한 공유된 가시성 덕분에 AI 엔지니어, 백엔드 엔지니어, 제품 관리자, QA가 서로 분리되어 있는 개별 뷰가 아닌 동일한 트레이스와 평가 결과를 볼 수 있습니다.
사용자에게 영향을 주기 전에 품질을 검증하고 회귀를 방지
Orange Business는 또한 변경 사항을 프로덕션에 푸시하기 전에 회귀 평가를 실행하도록 강제하기 위해 LangSmith를 사용합니다. 엔지니어는 에이전트 버전을 비교하고, 과거 트레이스를 재생하고, 배포 전에 행동을 검증할 수 있습니다.
여러 에이전트와 서로 상호작용하는 도구 호출이 포함된 복잡한 워크플로우의 경우, 전체 실행 트리를 가시화하면 엔지니어가 끊어진 연결이나 문제를 더 빠르게 파악하고 수정할 수 있습니다. Orange의 점검 항목은 일반적으로 다음을 포함합니다:
- 워크플로우가 정확히 어디서 실패했는지
- 그 시점에 어떤 에이전트 또는 도구가 실행 중이었는지
- 해당 단계에 어떤 입력이 전달되었는지
- 어떤 응답이 수신되었는지
- 개별 단계가 얼마나 걸렸는지
- 워크플로우의 일부로 몇 개의 에이전트와 도구가 실행되었는지
- 각기 다른 단계들이 전체 실행에 어떻게 기여했는지
또한 Orange는 오프라인 평가에서 사용하여 지속적인 프롬프트 개선을 수행할 수 있도록, 좋은 에이전트 동작과 나쁜 에이전트 동작을 각각 나타내는 트레이스 예제로 데이터셋을 구축합니다.
결과와 향후 계획
Orange가 구축한 시스템은 팀 전반의 운영 효율성을 개선했으며, 엔지니어와 SME에게 에이전트 개발 및 개선을 위한 공유 워크플로우를 제공했습니다.
“저희의 경우 기술팀이 애플리케이션과 에이전틱 워크플로우 구현을 담당하고, 비즈니스 팀은 프롬프트 개선과 품질 평가에 적극적으로 참여할 수 있습니다. LangSmith는 프롬프트 반복, 트레이싱, 평가를 하나의 지속적인 개선 워크플로우로 만들어 줍니다.”라고 AI Products 책임자 Mathieu Ducrot이 말했습니다. Orange는 팀 협업을 온라인 평가로 확장하여 더욱 풍부한 피드백 주기를 만드는 방향으로 이 개선 루프를 발전시킬 계획입니다.
앞으로 팀은 더 복잡한 비즈니스 프로세스를 자동화하는 작업을 진행하고 있습니다. 예를 들어 CRM 및 법무 워크플로우 연동을 갖추어 보험 청구 전체 프로세스를 지원하는 에이전트, 그리고 현장 기술자의 긴급 개입을 위해 항만의 보안 센서를 모니터링할 수 있는 에이전트 등입니다.
엔터프라이즈 AI 플랫폼을 구축하고 계신가요? 자세히 알아보세요: LangSmith 그리고 Live Intelligence.