Mitteilen der neuen Möglichkeiten, Modelle mit SageMaker AI anzupassen, ohne GPU zu verwalten

Unternehmen, die durch KI echte Ergebnisse erzielen, nutzen nicht nur vordefinierte Grundmodellen (FMs). Sie personalisieren offene Modelle mittels nachtrainierter Techniken wie Verstärkungslernen.

Unternehmen, die durch KI echte Ergebnisse erzielen, nutzen nicht nur vordefinierte Grundmodellen (FMs). Sie personalisieren offene Modelle mittels nachtrainierter Techniken wie Verstärkungslernen. Ein Modell, das auf Ihren Geschäftskontext, den Produktkatalog oder das klinische Vokabular trainiert wurde, ist für Ihre Aufgabe genauer und kostet weniger Energie. Wenn Sie Agenten entwickeln, beeinflussen auch Ihre Daten, Arbeitsabläufe, Bewertungen und Erfolgskriterien das Verhalten des Modells.

Allerdings ist die Anpassung von Modellen schwierig. Man muss die richtige Technik wählen, die GPU-Infrastruktur einrichten und verwalten sowie für Agenten Umgebungen für mehrstufiges Verhaltenslernen erstellen. Wir haben Amazon SageMaker AI Serverless-Modelanpassung eingeführt, um diese Herausforderungen zu lösen, und heute erweitern wir es mit der Verfügbarkeit von Trainingssitzungen.

Mit Training-Sitzungen erhalten Sie die Kontrolle über die nach dem Training entstehende Logik, ohne die zugrunde liegende Infrastruktur verwalten zu müssen. Sie schreiben und koordinieren den Trainingsprozess, einschließlich benutzerdefinierter Verlustfunktionen oder Belohnungssignale. SageMaker AI übernimmt die GPU-Allokation, die verteilte Ausführung, die Fehlerbehebung und das Speichern von Checkpoints.

Anpassen ohne die Umstände der Infrastrukturentwicklung

Mit der Serverless-Modellanpassung von SageMaker AI müssen Sie keine Instanztypen wählen, Clustere verwalten oder die Konfiguration für verteiltes Training schreiben.

Wir wollten Sie nicht einschränken. Sie können Techniken wie SFT, DPO, RLVR, RLAIF oder multi-turn RL verwenden. Sie können entscheiden, wie viel des Modells mit Low-Rank Adaptation (LoRA) aktualisiert werden soll, oder ob vollständige Feinjustierung und Kettentechniken zusammen durch kontinuierliche Anpassung eingesetzt werden sollen.

Wir wollten nicht, dass Sie Zeit verschwenden. Unser Buch über Training-Sessions für SageMaker AI bietet Beispiele und Anwendungsfälle sowie Fähigkeiten des Modellanpassung-agents. Sie beschreiben Ihren Anwendungsfall, und der Agent übernimmt die Datenvorbereitung, die Technikwahl, das Training, die Evaluation und die Bereitstellung. Der Agent funktioniert genauso wie Sie – in SageMaker Studio, Kiro, Claude Code, Codex oder GitHub Copilot.

„Wir haben SageMaker AI Serverless Training Sessions verwendet, um ein Triage-Modell für die Ablehnung von Gesundheitsversicherungsanträgen zu entwickeln. Die Erfahrung bestätigte die Plattform bereits vom ersten Tag. Die niedrige Ebene der API-Surface, die direkte Kontrolle über die Vorder- und Rückwärtspassen, das Sampling und der Optimiererschritt gaben unseren Wissenschaftlern die feine Kontrolle, die sie benötigen, um Reinforcement Learning in einem anspruchsvollen, präzisionskritischen Fall zu nutzen. Die Training-Sessions bieten uns die richtigen Grundbausteine, um eine Produktionsniveau-Erfolgsleistung zu erreichen.“

— Rob Gontarek, Senior Vice President, Data Science, ImagineSoftware

Schreibe deinen eigenen Post-Training-Loop

Eine wichtige Veränderung in der Agentenausbildung ist der Übergang zu Multi-Turn-Reinforcement-Learning. Beispielsweise benötigt ein Agent, der Reisebuchungen macht, Support-Tickets priorisiert oder eine mehrstufige Forschungsaufgabe ausführt, mehrere Interaktionen, bevor man erkennen kann, ob er das richtige Ergebnis erreicht hat.

Allerdings kann der Trainingszyklus schnell kompliziert werden. Man kann das Modell auf einer bestimmten Infrastruktur trainieren, auf einer anderen Infrastruktur Inferenzen durchführen, die Antworten bewerten und die Ergebnisse anschließend in die nächste Aktualisierung einbringen. Jede Phase erfordert unterschiedliche Rechenleistung, und die Verbindung dieser verschiedenen Bereiche über separate Tools und Clustere hinzuzufügen, erfordert zusätzliches Arbeiten.

SageMaker AI bietet bereits Multi-Turn-RL als eine verwaltete, serverlose Technik an. Wir haben jedoch von Kunden gehört, die die Flexibilität haben wollten, ihre eigenen Verlustfunktionen zu definieren, Belohnungssignale zu gestalten oder RL-Stufen in einem einzigen Prozess zu verwenden. Die Trainingssitzungen bieten genau diese Flexibilität.

„Mit den SageMaker AI Serverless-Training-Sessions haben wir gpt-oss-20b für agentische, mehrturnale Toolaufrufe gegen unseren Amazon Neptune-Wissensgraph angepasst – und die Plattform hat die Infrastruktur für uns übernommen. Die Einrichtung funktionierte einfach, ohne manuelle Justierung und ohne Probleme mit dem Speicherbedarf. Das Checkpoint-und-Resume-System war herausragend: Das Wiederaufnehmen von einem bestimmten Schritt war völlig zuverlässig. Damit bekamen unsere Entwickler die Flexibilität, die sie wollten, und der operative Aufwand wurde von ihnen genommen.“

— Nitin Wagh, CEO, Karini AI

Wie es funktioniert

Ihr Code führt den Trainingszyklus und die Belohnungsfunktion in Ihrer Umgebung aus und verbindet den Agenten mit seinen Werkzeugen oder Simulatoren. Die Trainingssitzung erledigt das auf GPU-intensive Arbeit: ein Sammler erzeugt Antworten, und ein Trainer berechnet Gradienten und aktualisiert die Modelgewichte. Die genaue Abfolge hängt von dem Algorithmus ab, den Sie schreiben.

Zum Beispiel betrachten wir die Implementierung von Group Relative Policy Optimization (GRPO). GRPO ist eine Reinforcement-Learning-Methode, die mehrere Antworten auf denselben Prompt erzeugt, diese bewertet und mit deren relativen Leistung das Modell aktualisiert. Ein Durchgang durch den Loop sieht so aus:

Beispieldarstellungen – Ihr Loop fordert den Sammler auf, für jedes Prompt mehrere Antworten mit dem aktuellen Modell zu generieren.
Bewerten Sie sie – Ihre Belohnungsfunktion bewertet jede Antwort in Ihrer Umgebung mit einem Verifizierer, einem Belohnungsmodell oder einem Testhintergrund.
Modell aktualisieren – Ihr Loop sendet die Scores zurück an den Trainer. forward_backward() verwendet sie, um Gradienten zu berechnen, und optim_step() wendet die Aktualisierung auf die Modelgewichte an.
Neustarten und Wiederholen – Ihr Loop fordert die Session auf, den Sammler mit den aktualisierten Gewichten neu zu berechnen, und startet anschließend die nächste Charge. Ihr Code wiederholt diese Schritte, bis das Training abgeschlossen ist.

Sie zahlen für die Tokens, die SageMaker AI verarbeitet. Die Zählerstelle stoppt, wenn die Belohnungsfunktion eine Batch in Ihrer Umgebung bewertet, und es gibt keine Reservierungskapazität.

Behalten Sie die Kontrolle über Ihre Daten und Modelle

Jede Sitzung verwendet eine von Ihnen erstellte AWS Identity and Access Management (IAM)-Ausführungsrolle, und Sie können Ihre eigene AWS Key Management Service (AWS KMS)-Schlüssel sowie die Konfiguration des Virtual Private Cloud (VPC) hinzufügen. Ihre Daten bleiben in den Amazon Simple Storage Service (Amazon S3)-Säulen im ausgewählten AWS-Region, und auch Ihre Checkpoints landen dort.

Wir verwenden Ihre Daten oder Ihre angepassten Gewichte nicht, um ein anderes Modell zu trainieren. Vor der Verteilung können Sie das Modell hinsichtlich Genauigkeit, Bias und Sicherheit bewerten. Nach der Verteilung können Sie Schutzmaßnahmen anwenden und es mit Amazon CloudWatch überwachen.

Sie können weiterhin die Governance-Prozesse verwenden, die Ihre Teams bereits haben.

Beginnen Sie heute

Schreibe deinen eigenen Trainingszyklus für Trainingssitzungen zur Anpassung von Serverless-Modellen in SageMaker, die heute verfügbar sind und Unterstützung für gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B und Qwen3.8-27B bieten.

Zwei Möglichkeiten, um zu beginnen:

In Ihrer IDE: Installieren Sie das SageMaker Python SDK (auf Linux oder macOS mit Python 3.10 bis 3.12), klonen Sie das Cookbook und beginnen Sie mit der Entwicklung.
In SageMaker Studio: Starten Sie eine einsatzbereite AI-Entwicklungsumgebung in weniger als 20 Sekunden. Melden Sie sich an, öffnen Sie ein Notizbuch, verbinden Sie Ihren Programmieragenten (Kiro, Claude Code, Codex oder Copilot), laden Sie die Agent-Fähigkeiten und das Cookbook herunter – und Sie sind bereit, zu beginnen.