Alibaba Qwen stellt QwenGyre vor: Elastisches Reinforcement Learning (RL) für XLong-Horizon-Agents

Alibabas Qwen-Team hat QwenGyrevorgestellt, ein elastisches Reinforcement-Learning-Framework (RL) für das Training von Agents mit extrem langem Zeithorizont. QwenGyre ist ein Online-Reinforcement-Learning-System von Alibaba, das Coding-Agents über unveränderte Black-Box-Harnesses trainiert. Es zielt auf Rollouts ab, die stundenlang laufen und nahezu 1M Token verarbeiten. Das QwenGyre elastic RL framework wurde auf Qwens Flaggschiff-Modell Qwen 3.8 2.4T eingesetzt. Es beruht auf 2 Kernideen. Es verschiebt ungenutzte GPUs zwischen Rollout und Training. Zudem wandelt es verzweigte Agent-Verläufe in begrenzte Trainingssamples um.

TL;DR

• Größe: Ein Trainingsframework, kein Modell. Getestet auf Qwen 3.6 122B und Qwen 3.8 2.4T (A95B laut Qwen), mit etwa 700K Token pro Rollout.
• Läuft auf: Multi-Node-GPU-Clustern. Die 122B-Läufe nutzten 24 bis 32 Nodes; der 2.4T-Lauf nutzte 192 Nodes (4 Zellen mit je 48). GPU-Modell nicht offengelegt. Megatron trainiert, SGLang bedient die Rollouts.
• Leistung: 1.38x bis 1.78x schneller als Async, 1.21x bis 1.85x schneller als Colocate, bei gleichen Scores.
• Bestwert: 1.85x End-to-End-Beschleunigung gegenüber Colocate auf TerminalBench.
• Schlechtester Wert: Nur 1.21x gegenüber Colocate auf dem 2.4T-Modell, bei dem viele Anfragen nahe am Timeout liefen.
• Fazit:
  • Bestwert: NL2RepoBench steigt in 48 Schritten von 52.5% auf 58.5%.
  • Schlechtester Wert: das Papier verlinkt keine öffentliche Code-Veröffentlichung.

Welches Problem löst QwenGyre?

Das Forschungsteam definiert ‚XLong-horizon‘-Aufgaben als Agent-Läufe, die sich über Stunden und hunderte Modell- und Tool-Interaktionen erstrecken. Beispiele sind die Generierung kompletter Repositories aus Spezifikationen, wie in NL2Repo-Bench.

Auf dieser Größenordnung treten zwei Probleme auf:

• Erstens haben Rollouts lange Ausläufer. In einem Colocate-Setup wartet das Training auf die langsamste Ausführung, während GPUs ungenutzt bleiben. In einem Async-Setup können feste GPU-Pools ihre freie Kapazität nicht gegenseitig ausleihen.
• Zweitens komprimieren Harnesses wie Claude Code den Kontext, erzeugen Sub-Agents und wiederholen Versuche. Eine Ausführung wird zu einem verzweigten Baum statt zu einer einzelnen Trajektorie. Das Aufspannen jedes Pfades dupliziert gemeinsame Präfixe und treibt die Trainingskosten in die Höhe.

Wie funktioniert der Elastic Scheduler?

QwenGyre teilt GPUs in Zellen auf, die ein gemeinsames Trainingslayout nutzen. Jede Zelle kann Rollouts ausführen oder ein vollständiges Trainingsreplikat hosten. Eine Core-Zelle besitzt die autoritativen Gewichte und den Optimizer-Zustand. Satellite-Zellen stoßen später zum Training hinzu.

Der Scheduler verfolgt einen Rollout-Wasserstand: laufende und in der Warteschlange befindliche Ausführungen. Wenn Ausführungen abgeschlossen sind, wechseln Zellen zum Training, sobald die verbleibenden Zellen die gesamte laufende Arbeit noch bedienen können. Modellaufrufe werden über einen Proxy umgeleitet, sodass das Harness weiterläuft.

Zentrale Mechanismen:

• KV-Cache-Blöcke werden während der Umleitung über RDMA migriert, was die Neuberechnung von Präfixen reduziert.
• Satellites ziehen die Core-Gewichte über Mooncakes Transfer Engine und treten einem laufenden Batch bei.
• Streaming-Training erlaubt es Zellen, Micro-Steps zu beanspruchen, sobald die Daten bereit sind.
• Durchschnittliche Rollenwechsel dauerten 8.52 s (Rollout zu Training) und 3.46 s (Training zu Rollout).

Wie erstellt der Trajectory Processor Trainingssamples?

Ein Proxy zeichnet exakte Token-IDs und Behavior-Log-Wahrscheinlichkeiten auf mittels token-in, token-out (TITO). Aufrufe werden als präfixgeteilte Trajektorienbäume gespeichert.

• Partielle Bewertung: Ausführungen mit Timeout werden dennoch auf ihrem erhaltenen Workspace bewertet. Fehler von Evaluatoren werden ausgeschlossen und nie als null Reward behandelt.
• Begrenztes Sampling: Es werden höchstens 5 Trajektorien pro Ausführung behalten, rangiert nach main > main-summary > sub-agent > sub-agent-summary.
• Deduplizierung: Geteilte Ziele zählen einmalig, und nur policy-generierte Tokens werden trainiert.
• Faire Gewichtung: Verluste werden innerhalb jeder Ausführung gemittelt, sodass zusätzliche Zweige ihr Gewicht nicht aufblähen.

Ein Cap von 5 passte die nicht begrenzten Trainingsscores an und reduzierte gleichzeitig die Forward-Backward-Zeit um 25.2%. Das Training verwendet eine angepasste GSPO mit 16 Rollouts pro Gruppe.

Wie schnell ist QwenGyre? Benchmark-Ergebnisse

Alle Läufe verwendeten Claude Code 2.1.220 als Harness, mit gleichen GPU-Budgets und abgestimmter Staleness.

Auf dem 2.4T-Modell beendete QwenGyre 48 Schritte in 75.42 Stunden. Async brauchte 134.55 Stunden und Colocate 91.47 Stunden. Die Evaluation-Pass-Rate stieg von 52.48% auf 58.54%.

Wie schneidet QwenGyre im Vergleich mit anderen agentic-RL-Frameworks ab?

Beschleunigungen ergeben sich aus dem jeweiligen Setup des Projekts selbst und sind nicht direkt vergleichbar.

Wichtigste Erkenntnisse

• QwenGyre verschiebt GPUs zwischen Rollout und Training, ohne laufende Agenten anzuhalten.
• Trajektorienbäume begrenzen die Samples auf 5 pro Ausführung und trainieren gemeinsame Präfixe nur einmal.
• Abgelaufene Läufe werden dennoch anhand ihrer Teilarbeit bewertet.
• Bis zu 1.85x schneller als Colocate und 1.78x schneller als Async.
• Qwen 3.8 2.4T NL2RepoBench verbesserte sich in 48 Schritten von 52.5% auf 58.5%.

Schauen Sie sich das vollständige QwenGyre-Paper auf arXiv an und Qwens Ankündigungsbeitrag. Alle Credits gehen an die Forscherin oder den Forscher dieses Projekts. Außerdem können Sie uns gerne auf Twitter folgen und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.

Der Beitrag Alibaba Qwen stellt QwenGyre vor: Elastisches Reinforcement Learning (RL) für XLong-Horizon-Agenten erschien zuerst auf MarkTechPost.