Annonce de nouvelles méthodes pour personnaliser les modèles avec SageMaker AI, sans avoir à gérer des GPU

Les entreprises qui obtiennent des résultats concrets grâce à l’IA ne se contentent pas d’utiliser des modèles de base prêts à l’emploi. Elles personnalisent des modèles ouverts en utilisant des techniques post-traitement telles que l’apprentissage par renforcement. Un modèle entraîné sur le contexte de votre entreprise, le catalogue de produits ou le vocabulaire clinique sera plus précis pour votre tâche et moins coûteux à exploiter. Lorsque vous développez des agents, vos données, vos workflows, vos évaluations et vos critères de succès influencent également le comportement du modèle.

Cependant, la personnalisation des modèles est difficile. Il faut choisir la technique appropriée, mettre en place et gérer l’infrastructure GPU, et, pour les agents, créer des environnements pour l’apprentissage renforcé à plusieurs tours. Nous avons lancé Amazon SageMaker AI serverless model customization afin de résoudre ces défis, et aujourd’hui, nous l’étendons avec le lancement de la disponibilité générale des sessions d’entraînement.

Avec les sessions de formation, vous avez le contrôle sur la logique post-formation sans avoir à gérer l’infrastructure sous-jacente. Vous écrivez et coordonnez le cycle de formation, y compris les fonctions de perte personnalisées ou les signaux de récompense. SageMaker AI gère l’attribution des GPU, l’exécution distribuée, la reprise après panne et le stockage des points de contrôle.

Personnalisez sans les difficultés de la gestion des infrastructures

Avec la personnalisation des modèles sans serveur de SageMaker AI, vous n’avez pas besoin de choisir les types d’instances, de gérer les clusters ou d’écrire les configurations de formation distribuée.

Nous ne voulions pas vous limiter. Vous pouvez utiliser des techniques telles que SFT, DPO, RLVR, RLAIF ou RL multi-tours. Vous pouvez choisir la quantité de modèle à mettre à jour avec la Low-Rank Adaptation (LoRA) ou le tuning complet, ainsi que les techniques de chaînage, par une personnalisation continue.

Nous ne voulions pas que vous gaspilliez du temps. Notre livre de recettes pour les sessions d’entraînement d’AI SageMaker propose des exemples et des cas d’usage, ainsi que des compétences pour la personnalisation du modèle. Vous décrivez votre cas d’usage, et l’agent gère la préparation des données, le choix des techniques, l’entraînement, l’évaluation et le déploiement. L’agent fonctionne où vous travaillez : dans SageMaker Studio, Kiro, Claude Code, Codex ou GitHub Copilot.

« Nous avons adopté SageMaker AI Serverless Training Sessions pour construire un modèle de triage pour les refus de demande de soins médicaux. L’expérience a validé la plateforme dès le premier jour. La surface API de niveau bas, le contrôle direct sur les passes avant et arrière, l’échantillonnage et l’étape de l’optimiseur ont permis à nos scientifiques de disposer du contrôle fin granulaire nécessaire pour mener une étude d’apprentissage renforcé dans un cas d’usage exigeant et crucial en termes de précision. Les Training Sessions nous offrent les primitives adéquates pour atteindre des performances de niveau de production. »

— Rob Gontarek, Vice-président senior, Sciences des données, ImagineSoftware

Écrivez votre propre boucle après le entraînement

Un changement important dans la formation des agents est vers l’apprentissage renforceur à plusieurs turns. Par exemple, un agent qui réserve des voyages, trie les demandes de support ou exécute une tâche de recherche multiétapes a besoin de plusieurs tours d’interaction avant de pouvoir déterminer si il a atteint le résultat souhaité.

Cependant, le cycle de formation peut rapidement devenir complexe. Vous pouvez entraîner le modèle sur un ensemble d’infrastructures, exécuter des inférences sur un autre pour générer des réponses, évaluer ces réponses et introduire les résultats dans la prochaine mise à jour. Chaque étape nécessite une puissance de calcul différente, et le connecter entre des outils et des clusters distincts ajoute du travail.

SageMaker AI propose déjà le RL à plusieurs tours en tant que technique gérée et sans serveur. Cependant, nous avons entendu dire de la part des clients qui souhaitent définir leurs propres fonctions de perte, shaping des signaux de récompense ou les étapes du RL en une seule boucle. Les sessions d’entraînement vous offrent cette flexibilité.

« Avec les sessions de formation sans serveur de SageMaker AI, nous avons affiné gpt-oss-20b pour des appels de outils multi-tours basés sur le graphe de connaissances Amazon Neptune — et la plateforme a géré l’infrastructure pour nous. La configuration s’est déroulée sans problème, sans avoir besoin de tuning manuel ni de gestion des problèmes liés à l’espace de stockage. Le récupération après checkpoint était exceptionnelle : reprendre une étape précise était complètement fiable. Cela a donné aux développeurs la flexibilité dont ils avaient besoin, tout en les libérant du fardeau opérationnel. »

— Nitin Wagh, PDG de Karini AI

Comment cela fonctionne

Votre code exécute le cycle d’entraînement et la fonction de récompense dans votre environnement, et connecte l’agent aux outils ou simulateurs correspondants. La session d’entraînement effectue le travail consommant beaucoup de GPU : un sampler génère les réponses, et un entraîneur calcule les gradients et met à jour les poids du modèle. La séquence exacte dépend de l’algorithme que vous écrivez.

Par exemple, examinons la mise en œuvre de Group Relative Policy Optimization (GRPO). GRPO est une méthode de apprentissage renforcé qui génère plusieurs réponses à la même demande, les évalue et utilise leur performance relative pour mettre à jour le modèle. Une passe dans le cycle fonctionne ainsi :

Réponses de exemple – Votre boucle demande au sampler de générer plusieurs réponses pour chaque prompt en utilisant le modèle actuel.
Évaluez-les – Votre fonction de récompense évalue chaque réponse dans votre environnement en utilisant un vérifiant, un modèle de récompense ou un harnais de test.
Mettre à jour le modèle – Votre boucle envoie les scores au formateur. forward_backward() les utilise pour calculer les gradients, et optim_step() applique la mise à jour aux poids du modèle.
Réinitialiser et répéter – Votre boucle demande à la session de réinitialiser le sampler avec les poids mis à jour, puis commence le prochain lot. Votre code répète ces étapes jusqu’à ce que l’entraînement soit terminé.

Vous payez pour les tokens que SageMaker AI traite. Le compteur s’arrête lorsque la fonction de récompense évalue un lot dans votre environnement, et il n’y a pas de capacité de réservation.

Conservez le contrôle sur vos données et vos modèles

Chaque session utilise un rôle d’exécution AWS Identity and Access Management (IAM) que vous avez créé, et vous pouvez ajouter votre propre clé du service de gestion des clés AWS (AWS KMS) ainsi que la configuration du cloud privé virtuel (VPC). Vos données restent dans vos propres bucket Amazon Simple Storage Service (Amazon S3) situés dans la région AWS que vous choisissez, et vos points de contrôle y sont également stockés.

Nous ne utilisons pas vos données ni vos poids personnalisés pour entraîner un autre modèle. Avant le déploiement, vous pouvez évaluer la précision, les biais et la sécurité du modèle. Après le déploiement, vous pouvez appliquer des garde-fous et le surveiller via Amazon CloudWatch.

Vous pouvez continuer à utiliser les processus de gouvernance que vos équipes ont déjà mis en place.

Commencez dès aujourd’hui

Rédigez votre propre boucle d’entraînement sur les sessions de personnalisation de modèles serverless SageMaker AI, disponibles aujourd’hui avec le soutien pour gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B et Qwen3.8-27B.

Deux manières pour commencer :

Dans votre IDE : Installez le SDK Python SageMaker (sur Linux ou macOS avec Python 3.10 à 3.12), clonez le cookbook, et commencez à développer.
Dans SageMaker Studio : Lancez un environnement de développement d’IA prêt à l’emploi en moins de 20 secondes. Connectez-vous, ouvrez un notebook, connectez votre agent de codage (Kiro, Claude Code, Codex ou Copilot), téléchargez les compétences et le recueil de techniques de l’agent, et vous êtes prêt à commencer.