AIから実際の成果を得ている企業は、既存の基盤モデル（FM）を単に使用しているだけではありません。彼らは強化学習などのトレーニング後の技術を用いてオープンウェイトモデルをカスタマイズしています。自社のビジネスコンテキスト、製品カタログ、または臨床用語彙でトレーニングされたモデルは、タスクに対してより正確であり、運用コストも低くなります。エージェントを構築する際、データ、ワークフロー、評価、成功基準もモデルの動作に影響を与えます。
しかし、モデルのカスタマイズは難しい。適切な手法を選択し、GPUインフラを構築・管理し、エージェントの場合はマルチターン強化学習用の環境を構築する必要がある。これらの課題を解決するために、Amazon SageMaker AIサーバーレスモデルカスタマイズを導入した。今日、トレーニングセッションの一般利用が開始されることで、この機能をさらに拡張している。
トレーニングセッションを利用することで、基盤となるインフラを管理する必要なく、トレーニング後のロジックを制御できます。カスタム損失関数や報酬信号を含むトレーニングループの作成と調整も行えます。SageMaker AIがGPUの割当、分散実行、障害復旧、チェックポイントの保存を処理します。
インフラ管理の手間を省いた形でカスタマイズ可能
SageMaker AIサーバーレスモデルカスタマイズにより、インスタンスタイプの選択、クラスタの管理、分散トレーニング設定の書き込みは不要です。
あなたを制限したくなかったのです。SFT、DPO、RLVR、RLAIF、またはマルチターンRLといった手法を利用できます。Low-Rank Adaptation（LoRA）でモデルのどれだけを更新するか、あるいは完全なフィネーティングとチェーン技術を連続的なカスタマイズを通じて組み合わせるかを選択できます。
時間を無駄にしないようにしたかった。私たちのSageMaker AIトレーニングセッションの料理本には、例や使用ケース、モデルカスタマイズエージェントのスキルが含まれています。あなたは自分の使用ケースを説明し、エージェントがデータの準備、手法の選択、トレーニング、評価、デプロイを行います。エージェントは、SageMaker Studio、Kiro、Claude Code、Codex、またはGitHub Copilotで、あなたが働く場所で動作します。
「SageMaker AI Serverless Training Sessionsを利用して、医療保険の拒否分類モデルを構築しました。この経験により、プラットフォームが最初から有効であることが確認されました。低レベルのAPI面、前後処理、サンプリング、最適化ステップへの直接制御により、科学者たちは要求が厳しく精度が重要なケースで強化学習を進めるために必要な詳細な制御を得ることができました。」 「トレーニングセッションは、実用レベルの性能を実現するための適切なプリミティブを提供します。」
— ロブ・ゴンタレク、ImagineSoftware データサイエンス部門 シニア副社長
自分で作成するトレーニング後のループ
エージェントトレーニングにおける重要な変化は、マルチターン強化学習への移行です。例えば、旅行を予約したり、サポートチケットを整理したり、多段階の研究タスクを実行するエージェントは、正しい結果に到達したかどうかを判断するまで、数回の相互作用が必要です。
しかし、トレーニングループはすぐに複雑になります。モデルを一つのインフラ環境でトレーニングし、別の環境で推論を行って応答を生成し、その応答を評価し、その結果を次の更新に送信することができます。各段階には異なる計算能力が必要であり、別々のツールやクラスターを接続することは作業量を増やします。
SageMaker AIは、管理型でサーバーレスな手法として、複数回のRLを提供しています。しかし、自身の損失関数を定義したり、報酬信号を形成したり、RLステージを一つのループ内で設定したいと望む顧客からの声があります。トレーニングセッションは、そのような柔軟性を提供します。
SageMaker AI Serverless Training Sessionsを利用することで、Amazon Neptune知識グラフに対してagentic、マルチターンツール呼び出しのためにgpt-oss-20bを微調整しました。プラットフォームがインフラ構成をすべて処理してくれました。設定は簡単で、手動の調整やメモリ不足による問題もありませんでした。Checkpointと再開機能は特に優れており、正確なステップから再開することが完全に信頼性がありました。これにより、開発者たちは望んだ柔軟性を得ると同時に、運用上の負担も減らすことができました。
— ニティン・ワグ、カリニ AIのCEO
その仕組みは
あなたのコードは環境内でトレーニングループと報酬関数を実行し、エージェントをツールやシミュレータに接続します。トレーニングセッションではGPUに負荷のかかる作業が行われます：サンプラーが応答を生成し、トレーナーが勾配を計算しモデルの重みを更新します。正確な順序は書いたアルゴリズムに依存します。
例えば、Group Relative Policy Optimization（GRPO）の実装を見てみましょう。GRPOは強化学習手法であり、同じプロンプトに対して複数の応答を生成し、それらを評価した後、その相対的な性能を利用してモデルを更新します。ループを1回通過する際の流れは次のようになります：
- サンプル回答 – あなたのループは、現在のモデルを使用して、各プロンプトに対して複数の回答を生成するようにサンプラーに指示します。
- スコアをつけてください—— あなたの報酬関数は、検証器、報酬モデル、またはテストハーネスを使用して、環境内の各応答をスコア付けします。
- モデルの更新 – ループがスコアをトレーナーに送り返します。
forward_backward()はそれらのスコアを使ってグラディエントを計算し、optim_step()は更新をモデルの重みに適用します。 - リフレッシュし、再実行する—— ループではセッションに依頼して、更新された重みでサンプラーをリフレッシュさせ、次のバッチを開始します。コードはトレーニングが完了するまで、これらのステップを繰り返します。
SageMaker AIが処理するトークンに料金がかかります。リワード関数が環境内で一括処理を行う間、メーターは停止し、予約できる容量はありません。
データとモデルを管理してください
各セッションでは、あなたが作成したAWS Identity and Access Management（IAM）実行ロールを使用します。また、自分のAWS Key Management Service（AWS KMS）キーや仮想プライベートクラウド（VPC）構成も追加できます。データは、選択したAWSリージョン内の自分自身のAmazon Simple Storage Service（Amazon S3）バケットに保持され、チェックポイントもそこに保存されます。
私たちは、お客様のデータやカスタマイズされた重みを他のモデルのトレーニングに使用しません。配備前に、モデルの正確性、バイアス、安全性を評価することができます。配備後は、ガードレールを適用し、Amazon CloudWatchでモニタリングを行うことができます。
チームがすでに利用しているガバナンスプロセスを引き続き使用できます。
今日から始めましょう
今日利用可能なSageMaker AIサーバーレスモデルカスタマイズトレーニングセッションでは、gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B、Qwen3.8-27Bをサポートする独自のトレーニングループを実施します。
始めるには2つの方法がある：
- IDEで： SageMaker Python SDKをインストールし（LinuxまたはmacOSでPython 3.10から3.12を使用）、Cookbookをクローンし、開発を開始してください。
- SageMaker Studioで：20秒未満で使えるAI開発環境を起動できます。ログインし、ノートブックを開き、コーディングエージェント（Kiro、Claude Code、Codex、またはCopilot）を接続し、そのエージェントのスキルとCookbookをダウンロードすれば、作業を開始できます。