Orange Business 是Orange集团的B2B部门，Orange集团是欧洲最大的电信和数字服务公司之一。 Live Intelligence 是 Orange Business 的旗舰 AI 平台。它已部署给 120,000 名 Orange 员工使用，并已被法国和欧洲的 150 多家客户采用。
从零构建AI辅助的极限
当Orange Business开发他们的首批AI产品时，他们希望为客户提供以AI安全地创造价值的方式。
Live Intelligence Portal 让员工能够创建简单的 AI 智能体并触发基本的 API 调用——这些功能适用于入门级的个人任务。Orange Business 想要构建更进一步的东西：能够跨碎片化的企业系统编排完整业务流程、管理谁可以访问什么内容，并在生产环境中大规模可靠运行的智能体。
然而,要复现企业级智能体所需的编排、部署、监控和可观测性基础设施,本需要一年以上的开发时间。Orange Business 没有从零开始构建,而是去寻找合适的基础。Live Intelligence Studio 由此诞生。
一个面向20家厂商的开源优先评估
Orange Innovation（Orange集团的创新侦察部门）评估了大约20家主要云提供商和专业AI厂商解决方案。他们选择LangChain是因为其模型中立性和可移植性——这使团队能够完全掌控代理架构，并根据欧洲数据主权要求管理工作负载。
在评估和可观测性方面,LangSmith是最合适的选择。 “LangSmith中的可观测性能力远远领先于我们内部实际能够构建的水平，” Orange Business人工智能产品负责人Mathieu Ducrot说道。 “自行构建很可能使我们的路线图推迟十二到十八个月。”
Live Intelligence：Studio、Portal 和 Console
Live Intelligence 围绕三个组件构建，每个组件面向不同的用户。
实时智能工作室 是为 AI 工程师和智能体开发者设计复杂跨系统工作流的环境：一个 LLM-as-a-Service 目录（托管在 Orange Business 基础设施和公有云上的模型），一个由以下驱动的智能体构建器 LangSmith Fleet、MCP 支持、通过 LangSmith 实现的智能体可观测性以及编排工具。
实时智能门户 是面向业务终端用户的界面：人力资源团队起草职位描述、法务团队审查保密协议条款、软件团队自动生成测试脚本、服务台构建IT支持代理。在Live Intelligence Studio中构建的工作流可以直接部署到Portal中，为最终用户提供干净且受治理的使用体验。
实时智能控制台 为企业管理员提供可见性和控制力：使用监控、性能跟踪，以及安全与合规策略的执行。
跨组织治理的Agent与MCP注册表
超越单个智能体，Live Intelligence 还增加了两个组织层级，这使其有别于更简单的部署。
该 代理注册表 让各团队能够在整个组织中发现、复用、版本化并治理智能体和提示。团队无需重复构建相同的能力，智能体可以成为拥有完整生命周期管理的共享资产。在提示管理方面，Orange 使用 LangSmith Context Hub 为每个环境维护不同的提示版本。这使得提示变更在投入生产使用之前能够进行测试和验证，且无需修改代码。
该 MCP Registry 提供一个集中式的受信任工具、连接器和外部能力目录。智能体通过一个受控、可审计的层访问企业系统(Microsoft 365、CRM、内部 API 和自定义服务)。
这些注册表共同将业务逻辑拉入平台层并从提示词中移出,这样每个团队都不需要从零开始重新解决身份验证、安全性和治理问题。
LangSmith 贯穿整个评估栈
Orange Business 在生产环境中运行基于 LangSmith 构建的 3 层评估。
- RAG 质量: 包含问答对、预期来源文档、检索召回率、基础质量(hoatĝo)和答案忠实度的黄金数据集。
- 智能体行为: 工具选择准确性、任务完成率、拒绝行为、对提示词注入的鲁棒性以及对业务约束的遵守情况。
- 生产环境追踪监控: 延迟、成本、模型使用情况、失败运行、人工反馈和升级案例。
"以前,调试智能体非常困难,因为失败被隐藏在模型行为之中。" Mathieu 说道。 "借助 LangSmith,工程师可以检查执行的每一步,并了解问题究竟是来自检索、提示词、模型、工具调用还是业务逻辑。"
凭借这种共享的可视化能力,AI 工程师、后端工程师、产品经理和 QA 可以查看相同的追踪和评估结果,而不是各自使用相互割裂、彼此脱节的视图工作。
在影响用户之前验证质量并防止回归
Orange Business 还使用 LangSmith 在将变更推送到生产环境之前强制执行回归评估。工程师可以比较智能体版本、重放历史追踪,并在任何部署之前验证行为。
对于包含多个相互交互的代理和工具调用的复杂工作流,能够查看完整的执行树可以帮助工程师更快地识别和修复损坏的连接或问题。Orange 的检查通常包括:
- 工作流究竟在哪里失败了
- 当时正在执行哪个代理或工具
- 传递给该步骤的输入是什么
- 收到了什么响应
- 各个步骤花了多长时间
- 作为工作流的一部分执行了多少个代理和工具
- 不同步骤对整体执行的贡献如何
此外,Orange 还构建了包含代表代理良好或不良行为的追踪示例的数据集,用于离线评估,以持续改进提示词。
成果与下一步计划
Orange 构建的系统提高了各团队运营效率,为工程师和 SME 提供了用于代理开发和改进的共享工作流。
“对我们来说,技术团队负责应用和代理工作流的实现,而业务团队可以积极参与提示词的改进和质量评估。LangSmith 将提示词迭代、追踪和评估变成一个持续改进的工作流,”AI 产品负责人 Mathieu Ducrot 说道。 Orange 计划在这一改进循环的基础上,将团队协作扩展到在线评估中,以实现更丰富的反馈周期。
展望未来,团队正致力于自动化更多复杂的业务流程。例如,支持整个保险理赔流程的代理,包括 CRM 和法务工作流的集成,以及一个可以监控港口安全传感器以便现场工程师进行紧急干预的代理。
正在构建企业级 AI 平台?了解更多关于 LangSmith 和 Live Intelligence 的信息.