AWS Machine Learning来源发布时间

拜耳作物科学如何基于 Amazon Bedrock AgentCore 并借助 AWS Unified Operations 构建智能体决策引擎

植物育种决策依赖于跨越基因组学、田间试验、影像、环境条件和模型输出的数据。拜耳作物科学针对这些数据,跨作物、地区和团队运行数百个机器学习(ML)模型配置,且每次运行都需要可重复并受治理。

植物育种决策依赖于跨越基因组学、田间试验、影像、环境条件和模型输出的数据。拜耳作物科学针对这些数据,跨作物、地区和团队运行数百个机器学习(ML)模型配置,且每次运行都需要可重复并受治理。为满足这一要求,拜耳构建了互联决策引擎(Connected Decision Engine,CDE),这是一个用于部署、编排、监控和复用 ML 工作流的系统。CDE 为育种师、分析师、研究人员、数据科学家和数据工程师提供了一种一致的运行分析的方式,同时保留执行历史记录和运维管控。

随着采用规模的扩大,瓶颈从运行工作流转移到了理解工作流。解释一个结果意味着要从 API、文档、元数据存储、仪表板和日志中拼凑上下文。想了解工作流为何失败、模型做了什么或结果来自哪里的用户,仍然必须知道该检查哪个系统。为弥补这一差距,拜耳构建了智能体决策引擎(ADE),这是覆盖 CDE 的一个多智能体自然语言接口。一个监督智能体将每个问题路由给专门的专家智能体,专家智能体从相关系统检索上下文,用户无需自行操作运维技术栈即可获得答案。在第一阶段,ADE 能够在没有工程师参与的情况下解决约 80% 的用户问题。

ADE 运行在 Amazon Bedrock AgentCore上,这是一项 AWS 服务,可使用任何框架或模型大规模构建、连接和优化智能体。AgentCore 让团队能够专注于智能体行为,而不必自行构建和运营智能体托管、会话隔离和工具访问层。三项 AgentCore 能力促成了这一选择:一种隔离每个用户会话的托管运行时;通过 AgentCore Gateway(Amazon Bedrock AgentCore 的一项能力)实现的按 AWS Identity and Access Management (IAM) 范围界定的工具访问,可将身份验证和授权保持在智能体代码之外;以及一种与框架无关的设计,让团队能够使用自己的 LangGraph 编排并自由选择模型。

为做好上线准备并在之后运营 ADE,拜耳聘请了 AWS Unified Operations。这项合作提供了一位专属技术客户经理(TAM)和一位生成式 AI 领域专家工程师(DSE),他们作为 ADE 团队的延伸,从设计阶段一直工作到生产阶段。TAM 作为拜耳的战略顾问,对拜耳的运营模式和业务优先级已有深入了解。DSE 则带来了 AWS 上的生成式 AI 领域专业知识。团队每周举行三次技术站会,进行评审并做出设计决策。DSE 建立了对 ADE 工作负载以及拜耳团队运作方式的实际认知,因此技术指导既反映了 AWS 服务的运行特性,也结合了拜耳的具体情境。本文将回顾这一历程:ADE 的架构、构建过程中做出的五项设计决策、为该平台进入生产所做的准备工作,以及上线后的运营方式。

架构概览

ADE 分为四层:用户体验层、智能体编排层、专家智能体层,以及这些智能体调用的工具和数据源层(图 1)。用户通过 React Web 前端访问 ADE,请求在到达智能体之前会先经过一个面向 Microsoft Entra ID 的身份代理。GitHub Actions 构建智能体容器镜像,将其推送到 Amazon Elastic Container Registry (Amazon ECR),并部署到 AgentCore 运行时,后者是 Amazon Bedrock AgentCore 的一项能力。

Amazon Bedrock AgentCore 运行时托管这些智能体,并且由于该运行时与框架无关,团队直接在其上运行自己基于 LangGraph 的编排。团队选择 LangGraph 是因为其显式的基于图的控制流以及对多步骤工作流的检查点功能。LangGraph 负责编排工作流,其中 Supervisor Agent 作为入口点,对每个请求进行分类、选择专家智能体,并在问题跨越多个领域时组合结果。数据平面按职责分离。 Amazon DynamoDB 存储 LangGraph 检查点状态。 Amazon Aurora PostgreSQL 存储会话记录、用户反馈和分析数据。 Amazon ElastiCache 通过生存时间(TTL)缓存智能体响应。 Amazon Simple Storage Service (Amazon S3) 中的领域内容使用 Amazon Titan Text Embeddings V2 进行嵌入,并在 Amazon OpenSearch Serverless 中建立索引,用于检索增强生成(RAG)。 Amazon CloudWatch 捕获运行时和应用程序遥测数据。AgentCore Gateway 将后端 API 以模型上下文协议(MCP)工具的形式暴露给智能体,并将身份验证和授权保留在智能体代码之外。

图 1:Amazon Bedrock AgentCore 上的 Agentic Decision Engine 架构

ADE 在生产环境中运行 22 个专家智能体,每个智能体限定于一个领域,并拥有自己的工具和数据源。例如,Domain Expert Agent 通过 RAG 回答概念性问题。Operational Agent 从 CDE 检索实时工作流状态和结果。Troubleshooting Agent 分析运行遥测数据。Visualization Agent 生成图表或返回现有仪表板。一个客户特定的 Models as Skill 模式将模型代码和文档转换为存储在中央注册表中的技能定义,因此智能体可以从模型的实现而非通用模型知识来回答模型特定的问题。

当育种员询问“为什么我的表型分析工作流昨天失败了?”时,Supervisor 会对意图进行分类,并将请求路由到 Troubleshooting Agent。该智能体在 CloudWatch 中读取工作流的遥测数据,并通过 AgentCore Gateway 从 CDE API 获取其状态,识别故障点,然后通过 Supervisor 返回诊断结果(图 2)。育种员无需直接搜索日志。借助 Troubleshooting Agent,过去需要超过 1 小时手动翻查日志并等待工程师支持才能完成的诊断,现在只需不到 10 分钟。

图 2:ADE 请求流程:意图分类、缓存查找、专家路由和响应

通往生产之路的五个设计决策

Unified Operations TAM 和 DSE 作为工作团队的成员参与了以下决策,而不是事后才介入的升级支持点。这使拜耳能够在做出承诺之前,根据 AWS 服务行为检验每一项设计,同时保持对架构和最终决定的所有权。

1. 外置编排状态,但不将运行时视为无状态

AgentCore 运行时提供隔离的会话,在会话生命周期内的多次调用之间保留执行上下文。该上下文并不是多步骤工作流的持久存储。ADE 将 LangGraph 检查点写入 DynamoDB,使图能够在扩容事件、重启或会话边界之后恢复,而不依赖于某个执行环境保持可用。

原则: 将运行时会话用于活动执行,并将恢复或重建工作流所需的状态持久化到一个持久化服务中。

2. 区分企业身份、网关访问和下游授权

拜耳统一使用 Microsoft Entra ID 作为用户身份,而 ADE 的服务之间使用 AWS 原生机制进行相互授权。团队没有强制在所有信任边界上使用同一个令牌,而是为每个边界赋予了各自的机制。

Entra ID 仍然是用户身份的来源。AWS Identity and Access Management (IAM) 授权服务间调用。AgentCore Gateway 出站授权处理对下游 CDE 服务的访问。一个 AWS Lambda 请求拦截器函数执行自定义验证,并传递下游工具所需的授权属性。团队与 DSE 一起逐跳梳理了令牌契约。

原则: 智能体系统中的身份故障往往集中在用户身份、智能体身份和工具身份之间的转换处。应在每一跳定义颁发者、受众、声明、范围和凭据生命周期,而不是将在一个边界有效的令牌复用到下一个边界。

3. 将模型选择视为接口契约

在构建过程中,团队评估了一个启用了推理模式的较新模型版本。对于该版本,ADE 所依赖的工具调用与结构化输出的组合与其智能体的实现方式不兼容。DSE 确认了这一限制,团队为本次发布保留了当前模型。

原则: 对于使用工具的智能体,模型选择受限于完整的接口:工具调用、结构化输出、流式行为、推理功能、延迟、配额可用性以及模型特定的请求语义。更新的模型并不一定可以直接替换使用。

4. 在工具界面控制提示词之前先控制它

CDE 管理 500 多个模型配置。如果每个 API 都配一个专用 MCP 服务器,将带来部署、身份验证和版本管理的额外开销。ADE 改为在 AgentCore Gateway 中注册 OpenAPI 规范,由网关将 REST 操作暴露为 MCP 工具。添加或修改 API 变成了模式(schema)和网关配置的变更,而不是新服务器的部署。

工具的模式和描述同样会消耗输入 token,并与用户请求和检索到的上下文竞争。ADE 按专家智能体划分工具范围,而不是让每个智能体都获得完整目录。对于较大的目录,AgentCore Gateway 支持语义工具搜索,因此智能体无需在每一轮加载整个目录即可找到相关工具。

原则: 按智能体限定工具目录的范围。每个工具定义都会增加 token 并扩大模型的决策空间。

5. 将复杂能力从工具提升为智能体

可视化最初是被其他智能体调用的工具。随着它的成长,它需要自己的数据检索、图表选择逻辑、重试、错误处理,以及决定是生成图表还是返回现有仪表板。团队将其转变为专门的Visualization Agent。该智能体在 AgentCore Code Interpreter(Amazon Bedrock AgentCore 的一项功能,提供沙盒化的代码执行环境)中使用 matplotlib 和 Plotly 按需生成图表,并通过 Amazon S3 与其交换数据。当预构建仪表板是更好的答案时,该智能体会返回现有的 Amazon Quick 或 Power BI 资产。

原则: 工具执行的是有边界的操作。当某项能力开始拥有状态、重试、规划、策略或呈现决策时,应将其建模为智能体。

为 ADE 的生产化做准备

随着构建走向发布,重点从设计转向可运维性:检测智能体故障、归因推理成本以及加固部署。

可观测性:衡量任务失败,而不仅仅是异常

监督者架构会将一个用户请求转化为一系列模型调用、工具调用和智能体交接。即使每个 HTTP 请求都成功,最终答案仍可能是错误的。ADE 直接遇到了这个问题:应用程序异常处理器捕获了智能体错误并返回了响应,而监控系统将这些响应计为成功。在使用 DSE 重现该问题后,团队在失败路径内部添加了自定义 CloudWatch 指标,并针对智能体特定条件设置了警报:工具调用错误、限流、模型超时和结构化输出验证失败。追踪和调用日志跟随每个请求贯穿监督者与各专家智能体。

原则: 区分传输成功与任务成功。智能体可观测性应显示任务是否完成、哪个智能体或工具改变了结果,以及响应是否使用了预期来源。

成本归因:将计费归因与请求级遥测相结合

一个 ADE 请求可以调用多个模型和工具,因此账户级别的 Amazon Bedrock 支出无法解释单位经济效益。团队与 DSE 一起设计了归因方法,采用回答不同问题的三种机制。Amazon Bedrock 应用推理配置文件将计费的模型使用归因到某个应用程序或工作负载。请求元数据和模型调用日志将 token 使用量与特定的智能体、功能或请求关联。IAM 主体归因增加了身份维度。这些机制结合在一起,使团队能够估算每次交互的成本、识别昂贵的智能体,并确定是提示词、检索到的上下文还是工具定义推动了 token 消耗。在实践中,依赖 MCP 工具和多次工具调用的 Visualization Agent 和 Operational Agent 消耗的 token 最多。

同样的遥测在发布准备期间发现了一个具有大量重复输入前缀且没有任何提示词缓存活动的工作负载。对于受支持的模型,将稳定指令和工具定义放在可缓存的提示词前缀中可减少重复的输入处理,从而降低延迟和 token 成本。对于 ADE,缓存稳定提示词前缀将输入 token 成本降低了 20–30%。

安全与发布就绪

IAM 角色按每个智能体的职责划定范围。Troubleshooting Agent 可以读取诊断所需的运营数据,但不能修改工作流。Domain Expert Agent 可以查询其检索索引,但不能调用不相关的 CDE API。在当今的生产环境中,ADE 的智能体响应受最小权限、按智能体划分范围的只读工具访问、智能体响应的结构化输出验证,以及基于检索到的 CDE 数据和遥测而非开放式生成的答案所约束。拜耳还计划评估 Amazon Bedrock Guardrails,作为这些控制之上的额外一层,与 CDE 多轮工作流中已使用的自定义安全检查形成互补。

发布之前,Unified Operations 与 ADE 团队一起进行了关键工作负载评审和采用生成式 AI 透镜的 Well-Architected 评审。由于 DSE 已经了解该工作负载,两项评审都针对 ADE 的特定故障模式、容量风险和部署差距,而不是通用的最佳实践。发现的问题包括监督者与专家智能体之间的故障可见性缺口、可变的容器镜像标签、有限的镜像可追溯性以及缺失的漏洞扫描。团队以更强的警报、不可变的版本化镜像、Amazon ECR 中的推送时扫描以及未使用镜像的生命周期策略作为回应。

DSE 还与团队一起审查了扩展和配额要求。负载测试验证了应用程序及其服务配额,并暴露出一种返回空响应的网络故障模式,团队在生产活动之前修复了该问题。到发布时,团队已与 Unified Operations 一起跟踪并解决了 35 个阻碍项。

发布、运营与后续步骤

拜耳没有一开始就向整个组织开放ADE,而是先将其上线给一个受控群体。自上线以来,拜耳作物科学部门已有超过100名用户使用ADE,包括育种人员、分析师、研究人员、数据科学家和工程师。除了其22个专业智能体外,ADE还提供了约20个API工具,并可在扩展过程中托管第三方智能体。通过AgentCore Gateway而非为每个API配备专用服务器来开放这些API,使每个API的集成开销降低了99%以上。在第一阶段,ADE在没有工程师参与的情况下解决了约80%的用户问题。

CDE仍然是受治理的分析执行层。ADE在其之上增加了一层自然语言层,因此用户无需了解每个底层系统的位置或接口,即可询问工作流状态、结果、模型行为和故障情况。

随后,合作从上线准备转入日常运营。DSE继续与团队会面,因此问题分诊和运营审查都基于对ADE的既有了解,而无需重新熟悉。ADE的关键CloudWatch警报,包括前文所述的智能体专用警报,已接入AWS Incident Detection and Response。当警报触发时,AWS Incident Management工程师会在5分钟内介入,并直接从该工作负载的上下文出发,而不是从零开始。在安全方面,AWS Security Incident Response工程师在潜在或正在发生的安全事件期间为团队提供支持,因此ADE在运营和安全问题上都享有AWS的监控与响应保障。

在智能体间通信已经到位的基础上,拜耳下一步将聚焦于混合云智能体互操作性。团队正在探索不同环境中运行的智能体如何在没有人工配置的情况下相互发现并通信。

结论

拜耳并没有用ADE取代其分析平台,而是让CDE更易于查询和操作。大部分生产工作都发生在提示词之外:持久化状态、身份边界、工具范围限定、任务级可观测性、成本归因以及上线准备。拜耳主导了架构以及上述每一项决策。通过与指定的DSE和TAM在AWS Unified Operations框架下合作,团队在设计阶段就针对AWS服务行为对这些决策进行了验证,并将同样的上下文延续到了生产环境。

欲了解更多,请探索 Amazon Bedrock AgentCore, Amazon Bedrock成本归因, AWS Well-Architected生成式AI指南以及 AWS Unified Operations.

作者衷心感谢Sijie Shi、Jorge Gomes、Naveen Reddy、Iago Fonseca、Mateus Silva和Sushimitha Jarugula对ADE设计、开发和上线所做的贡献。


关于作者

原始出处

AWS Machine Learning

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准