那些通过人工智能获得实际成效的企业，并非只是使用现成的基础模型。它们而是利用强化学习等训练后技术对开放权重模型进行定制。一个基于您的业务背景、产品目录或临床词汇的模型，在任务执行上更精准，运行成本也更低。当构建智能体时，您的数据、工作流、评估方法和成功标准也会影响模型的行为表现。
然而，模型定制工作非常困难。您需要选择正确的技术方法，搭建并管理 GPU 基础设施，对于智能体而言，还需构建支持多轮强化学习的环境。为了应对这些挑战，我们推出了 Amazon SageMaker AI 无服务器模型定制功能，如今，随着训练课程的正式发布，我们将进一步扩展这一功能。
通过 训练会话，您可以控制训练后的逻辑，而无需管理底层基础设施。您负责编写和协调训练流程，包括自定义损失函数或奖励信号。SageMaker AI则负责GPU分配、分布式执行、故障恢复以及检查点存储工作。
无需基础设施管理的麻烦即可自定义设置
通过 SageMaker AI 无服务器模型定制功能，您无需选择实例类型、管理集群或编写分布式训练配置。
我们不想限制你。你可以使用 SFT、DPO、RLVR、RLAIF 或多轮 RL 等技术。你可以选择通过低秩适配（LoRA）来更新模型的哪些部分，或者结合完全微调与链式技术进行持续定制。
我们不想让您浪费时间。我们的 SageMaker AI 训练课程手册提供了示例和应用场景，以及模型定制代理的相关技能。您描述应用场景后，该代理将负责数据准备、技术选择、训练、评估和部署工作。该代理可以在您工作的任何地方运行，例如 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot。
“我们采用了 SageMaker AI Serverless Training Sessions 来构建一个医疗索赔拒绝分类模型，从第一天起，该平台的表现就得到了验证。低级别的 API 接口、对前向和反向传播、采样以及优化器的直接控制，让我们的科学家能够拥有所需的精细控制能力，以便在要求高且精度至关重要的应用场景中进行强化学习训练。Training Sessions 为我们提供了实现生产级性能所需的必要基础。”
— 罗布·贡塔雷克，ImagineSoftware 数据科学高级副总裁
编写你自己的训练后循环
代理训练中的一个重要转变是向多轮强化学习方向发展。例如，一个负责预订旅行、分类支持工单或执行多步骤研究任务的代理，在能够判断是否达到预期结果之前，需要经历多轮交互。
然而，训练循环很快就会变得复杂。你可能在一种基础设施上训练模型，在另一种基础设施上执行推理以生成响应，对这些响应进行评分，然后将结果输入到下一次更新中。每个阶段都需要不同的计算资源，而通过不同的工具和集群来连接这些环节则会增加工作量。
SageMaker AI 已经提供基于多轮强化学习的服务，这是一种由平台管理的无服务器技术。但我们从客户那里听说，他们希望在一个循环中定义自己的损失函数、调整奖励信号或设置强化学习阶段。训练过程能赋予他们这种灵活性。
通过 SageMaker AI Serverless Training Sessions，我们对 gpt-oss-20b 进行了优化，使其能够执行代理式、多轮对话的工具调用操作，使用的是 Amazon Neptune 知识图——而平台负责处理所有基础设施相关的工作。设置过程非常简单，无需手动调整，也无需处理内存不足的问题。检查点恢复功能非常出色：从精确的步骤重新开始完全可靠。这既为开发人员提供了他们所需的灵活性，又减少了他们的操作负担。
— 尼廷·瓦格，Karini AI 首席执行官
它是如何工作的
您的代码在环境中运行训练循环和奖励函数，并将智能体与工具或模拟器连接起来。训练过程需要依赖 GPU 来完成工作：采样器生成响应，训练器则计算梯度并更新模型权重。具体的执行顺序取决于您编写的算法。
例如，让我们来看一下 Group Relative Policy Optimization (GRPO) 的实现。GRPO 是一种强化学习方法，它能够针对相同的提示生成多个响应，对它们进行评分，并利用其相对表现来更新模型。一次循环过程如下：
- 示例回复 – 您的循环请求采样器使用当前模型为每个提示生成多个回复。
- 给它们打分—— 你的奖励函数会使用验证器、奖励模型或测试框架来对您环境中的每个回应进行评分。
- 更新模型—— 你的循环将分数返回给训练器。
forward_backward()使用这些分数来计算梯度，而optim_step()则对模型权重进行更新。 - 刷新并重复—— 你的循环会请求会话重新使用更新后的权重来采样，然后开始下一轮训练。你的代码会持续执行这些步骤，直到训练完成。
您为 SageMaker AI 处理的令牌支付费用。当您的奖励函数在环境中处理一批数据时，计量器会停止工作，且没有预留容量。
保持对数据和模型的控制
每个会话都会使用您创建的 AWS Identity and Access Management (IAM) 执行角色，您还可以添加自己的 AWS Key Management Service (AWS KMS) 密钥和虚拟私有云 (VPC) 配置。您的数据会保存在您选择的 AWS 区域中的 Amazon Simple Storage Service (Amazon S3) 存储桶中，您的检查点也存储在那里。
我们不会使用您的数据或您自定义的权重来训练其他模型。在部署之前，您可以评估模型的准确性、偏差和安全性。部署后，您可以设置防护规则，并通过 Amazon CloudWatch 对其进行监控。
您可以继续使用团队现有的治理流程。
今天就开始吧
在 SageMaker AI 无服务器模型定制训练会话中编写您自己的训练循环，目前可用，支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。
两种开始的方式：
- 在您的 IDE 中： 安装 SageMaker Python SDK（适用于 Linux 或 macOS，Python 版本为 3.10 至 3.12），克隆该文档库，然后开始开发。
- 在 SageMaker Studio 中：在不到 20 秒内即可启动一个即用型的 AI 开发环境。登录后，打开笔记本，连接你的编程助手（如 Kiro、Claude Code、Codex 或 Copilot），下载该助手的技能包和手册，即可开始使用。