AI를 통해 실제 성과를 거두는 기업들은 기성의 기반 모델(FM)만을 사용하는 것이 아닙니다. 그들은 강화 학습과 같은 후처리 기술을 활용하여 개조 가능한 모델을 맞춤화합니다. 귀하의 비즈니스 환경, 제품 카탈로그 또는 임상 어휘에 따라 훈련된 모델은 작업에 더 정확하며 운영 비용도 낮습니다. 에이전트를 개발할 때, 데이터, 워크플로우, 평가 및 성공 기준도 모델의 동작 방식을 결정합니다.
하지만 모델 커스터마이징은 어렵습니다. 적절한 기술을 선택하고 GPU 인프라를 설정 및 관리해야 하며, 에이전트의 경우 다중 회전 강화 학습 환경을 구축해야 합니다. 이러한 과제를 해결하기 위해 Amazon SageMaker AI 서버리스 모델 커스터마이징을 출시했으며, 오늘은 훈련 세션의 일반 사용 가능 출시로 이를 확장하고 있습니다.
트레이닝 세션을 통해 기반 인프라를 관리하지 않고 트레이닝 후 로직을 제어할 수 있습니다. 사용자 정의 손실 함수나 보상 신호을 포함한 트레이닝 루프를 작성하고 조정합니다. SageMaker AI는 GPU 할당, 분산 실행, 장애 복구 및 체크포인트 저장을 처리합니다.
인프라 관리의 번거로움 없이 맞춤 설정 가능
SageMaker AI 서버리스 모델 커스터마이징을 통해, 인스턴스 유형을 선택하거나 클러스터를 관리하거나 분산 학습 설정을 작성할 필요가 없습니다.
우리는 당신을 제한하고 싶지 않았습니다. SFT, DPO, RLVR, RLAIF 또는 다중 회전 RL과 같은 기법을 사용할 수 있습니다. LoRA를 통해 모델의 일부만 업데이트하거나 전체 fine-tuning 및 체인 기법을 함께 사용하여 지속적인 커스터마이징을 진행할 수도 있습니다.
우리는 당신이 시간을 낭비하지 않기를 원했습니다. 우리의 SageMaker AI 훈련 세션 레시피는 예제와 사용 사례뿐만 아니라 모델 커스터마이징 에이전트 기술도 제공합니다. 당신은 사용 사례를 설명하고, 에이전트가 데이터 준비, 기술 선택, 훈련, 평가 및 배포를 처리합니다. 에이전트는 당신이 일하는 곳 어디에서든 작동합니다. SageMaker Studio, Kiro, Claude Code, Codex 또는 GitHub Copilot에서 말입니다.
“우리는 건강 관리 청구 거절 분류 모델을 구축하기 위해 SageMaker AI Serverless Training Sessions를 도입했으며, 처음부터 이 플랫폼의 성능이 검증되었습니다. 낮은 수준의 API 표면, 전진 및 후진 스텝, 샘플링, 최적화 단계에 대한 직접적인 제어 기능을 통해 우리 과학자들은 요구가 까다롭고 정확도가 중요한 사용 사례에서 강화 학습을 진행하는 데 필요한 세밀한 제어권을 얻었습니다. Training Sessions는 생산급 성능을 달성하기 위한 적절한 프리미티브를 제공합니다.”
— 로브 곤타렉, 이미즈소프트웨어 데이터 과학 부사장
자신만의 훈련 후 루프를 작성하세요
에이전트 훈련에서 중요한 변화는 다중 회전 강화 학습으로의 전환입니다. 예를 들어, 여행을 예약하거나 지원 티켓을 분류하거나 다단계 연구 작업을 수행하는 에이전트는 올바른 결과를 달성했는지 판단하기 위해 여러 번의 상호작용이 필요합니다.
하지만 훈련 루프는 빠르게 복잡해질 수 있습니다. 모델을 하나의 인프라에서 훈련시키고, 다른 인프라에서 추론을 진행하여 응답을 생성한 다음 그 응답들을 평가하고, 그 결과를 다음 업데이트에 제공해야 합니다. 각 단계마다 다른 컴퓨팅 능력이 필요하며, 서로 다른 도구와 클러스터를 연결하는 것은 추가적인 작업을 수반합니다.
SageMaker AI는 이미 관리형, 서버리스 방식으로 다중 턴 RL을 제공합니다. 하지만 자체 손실 함수를 정의하거나 보상 신호를 설정하거나 RL 단계를 한 루프 안에서 조정하고자 하는 고객들로부터 이야기를 들었습니다. 트레이닝 세션은 그러한 유연성을 제공합니다.
“SageMaker AI Serverless Training Sessions를 사용하여, Amazon Neptune 지식 그래프에 기반하여 에이전트형, 다중 턴 도구 호출을 위한 gpt-oss-20b를 세밀하게 조정했습니다 — 그리고 플랫폼이 인프라 처리를 대신해 주었습니다. 설정은 매우 간단했으며, 수동 조정이나 메모리 부족 문제도 없었습니다. 체크포인트 및 재시작 기능은 훌륭했습니다: 정확한 단계부터 다시 시작하는 것이 완전히 신뢰할 수 있었습니다. 이를 통해 개발자들은 원하는 유연성을 얻으면서 운영 부담도 덜어졌습니다.”
— 니틴 와그, 카리니 AI 대표이사
작동 방식은 어떻게 되나요?
당신의 코드는 환경에서 훈련 루프와 보상 함수를 실행하며, 에이전트를 도구나 시뮬레이터에 연결합니다. 훈련 세션은 GPU가 많이 필요한 작업을 수행합니다: 샘플러가 응답을 생성하고, 트레이너가 기반 함수를 계산하여 모델 가중치를 업데이트합니다. 정확한 순서는 당신이 작성하는 알고리즘에 따라 달라집니다.
예를 들어, 그룹 상대 정책 최적화(GRPO) 구현을 살펴보겠습니다. GRPO는 강화 학습 방법으로, 동일한 프롬프트에 대해 여러 가지 응답을 생성하고 그 응답들을 평가한 뒤, 그들의 상대적인 성능을 이용하여 모델을 업데이트합니다. 루프를 한 번 통과하는 과정은 다음과 같습니다:
- 샘플 응답들 – 당신의 루프는 샘플러에게 현재 모델을 사용하여 각 프롬프트에 대해 여러 개의 응답을 생성하도록 요청합니다.
- 점수를 매기세요 – 당신의 보상 함수는 검증기, 보상 모델, 또는 테스트 하이바를 사용하여 환경 내의 각 응답에 대해 점수를 부여합니다.
- 모델 업데이트 – 당신의 루프는 점수를 트레이너에게 반환합니다.
forward_backward()는 이 점수를 사용하여 기울기 값을 계산하고,optim_step()는 이 업데이트를 모델 가중치에 적용합니다. - 새로 불러오고 다시 시작 – 루프는 세션에 업데이트된 가중치으로 샘플러를 새로 불러오도록 요청한 후 다음 배치를 시작합니다. 코드는 훈련이 완료될 때까지 이러한 단계를 반복합니다.
SageMaker AI가 처리하는 토큰에 대해 비용을 지불합니다. 귀하의 환경에서 보상 함수가 배치를 평가할 때 계량기가 멈추고, 예약할 수 있는 공간은 없습니다.
데이터와 모델을 통제하세요
각 세션에는 당신이 생성한 AWS Identity and Access Management(IAM) 실행 역할이 사용되며, 당신은 자신만의 AWS Key Management Service(AWS KMS) 키와 가상 프라이빗 클라우드(VPC) 설정을 추가할 수 있습니다. 당신의 데이터는 선택한 AWS 지역에 있는 Amazon Simple Storage Service(Amazon S3) 버킷에 저장되며, 체크포인트도 그곳에 저장됩니다.
우리는 귀하의 데이터나 맞춤형 가중치를 다른 모델을 훈련하는 데 사용하지 않습니다. 배포 전에 모델의 정확도, 편향, 안전성을 평가할 수 있습니다. 배포 후에는 보호 장치를 적용하고 Amazon CloudWatch를 통해 모니터링할 수 있습니다.
팀들이 이미 가지고 있는 거버닝 프로세스를 계속 사용할 수 있습니다.
오늘 바로 시작하세요
오늘부터 제공되는 SageMaker AI 서버리스 모델 커스터미네이션 교육 세션에서 gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B, 및 Qwen3.8-27B를 지원하는 자신만의 훈련 루프를 구축하세요.
시작하는 두 가지 방법:
- IDE에서: SageMaker Python SDK를 설치하세요 (Linux 또는 macOS에서 Python 3.10부터 3.12까지 사용 가능), cookbook을 클론하고 개발을 시작하세요.
- SageMaker Studio에서: 20초 이내에 사용할 수 있는 AI 개발 환경을 시작할 수 있습니다. 로그인한 후 노트북을 열고 코딩 에이전트(Kiro, Claude Code, Codex, 또는 Copilot)를 연결한 다음 에이전트의 스킬과 쿠키북을 다운로드하면 바로 작업을 시작할 수 있습니다.