アリババQwen、QwenGyreを発表:XLong-Horizonエージェント向けのエラスティック強化学習(RL)

AlibabaのQwenチームは発表しました QwenGyre極めて長期のホライズンを持つエージェント訓練のための伸縮的な強化学習(RL)フレームワークである。QwenGyreは、Alibabaが開発したオンライン強化学習システムであり、変更を加えないブラックボックスのハーネスを通じてコーディングエージェントを訓練する。これは数時間にわたって実行され、1Mトークン近くを処理するロールアウトを対象としている。 QwenGyre elastic RL フレームワーク はQwenの主力モデルQwen 3.8 2.4Tに使用されました。これは2つの中核アイデアに基づいています。アイドル状態のGPUをロールアウトと訓練の間で移動させること、そして分岐するエージェントの履歴を有界な訓練サンプルへ変換することです。

要約

• サイズ: モデルではなくトレーニングフレームワークです。Qwen 3.6 122B および Qwen 3.8 2.4T でテスト済み(QwenによるとA95B)、1ロールあたり約700Kトークンです。
• 動作環境: マルチノードGPUクラスタ。122Bの実行では24〜32ノードを使用し、2.4Tの実行では192ノード(48の4セル)を使用しました。GPUモデルは非公開です。学習にはMegatron、ロールアウトの提供にはSGLangを使用。
• パフォーマンス: 同スコア条件下で、Asyncより1.38倍から1.78倍高速、Colocateより1.21倍から1.85倍高速です。
• 最高： TerminalBenchにおいてColocate比で1.85倍のエンドツーエンドの高速化を達成。
• 最悪: 2.4Tモデルでは多くのクエリがタイムアウト近くまで実行されていたが、Colocate比でわずか1.21倍であった。
• 結論:
  • 最良: NL2RepoBenchは52.5%から58.5%へ、48ステップで向上。
  • 最悪な点：論文は公開コードのリリースを一切リンクしていない。

QwenGyreはどのような問題を解決するのですか?

研究チームは「XLong-horizon(超長期)」タスクを、数時間にわたりモデルやツールとの何百ものやり取りが行われるエージェントの実行と定義している。例としては、以下のような仕様からの完全なリポジトリの生成が挙げられる。 NL2Repo-Bench.

この規模では2つの問題が現れます:

• まず、ロールアウトには長い尾が存在します。Colocate構成では、最も遅い実行に学習が待たされ、GPUが遊んでしまいます。Async構成では、固定されたGPUプール同士が余剰 capacity を貸し借りできません。
• 第二に、次のようなハーネスが Claude Code コンパクトなコンテキストでサブエージェントを起動し、再試行する。1回の実行は単一の軌跡ではなく、分岐するツリーになる。すべてのパスを展開すると、共有されるプレフィックスが重複し、学習コストが膨らむ。

Elastic Schedulerはどのように動作するのですか？

QwenGyreはGPUを、共通のトレーニングレイアウトを共有するセルに分割します。各セルはロールアウトを提供するか、完全なトレーニングレプリカをホストできます。コアセルは信頼できる重みとオプティマイザ状態を保持します。サテライトセルは後からトレーニングに参加します。

スケジューラはロールアウトの水位（waterlevel）、すなわちキューイング中および実行中の実行を追跡します。実行が完了するにつれ、残りのセルでまだすべての稼働中のワークを処理できるようになった時点で、セルはトレーニングに切り替わります。モデル呼び出しはプロキシ経由で再ルーティングされるため、ハーネスは動作し続けます。

主な仕組み：

• KVキャッシュブロックは再ルーティング中にRDMA経由で移行し、プレフィックスの再計算を削減します。
• サテライトはMooncakeのTransfer Engineを通じてコアの重みを取得し、進行中のバッチに参加します。
• ストリーミングトレーニングにより、データが準備でき次第、セルがマイクロステップを要求できます。
• ロール切り替えの平均時間は8.52秒（ロールアウトからトレーニングへ）および3.46秒（トレーニングからロールアウトへ）でした。

Trajectory Processorはどのようにトレーニングサンプルを構築するのですか？

プロキシは正確なトークンIDと行動の対数確率を以下を使って記録します token-in, token-out (TITO). 呼び出しはプレフィックス共有のトラジェクトリーツリーとして保存されます.

• 部分スコアリング： タイムアウトした実行も、保存されたワークスペースに対してスコアリングされます。評価器の失敗は除外され、決して報酬ゼロとして扱われません。
• サンプリング上限： 実行ごとに最大5つのトラジェクトリが保持され、main > main-summary > sub-agent > sub-agent-summaryの順にランク付けされます。
• 重複排除： 共有ターゲットは1回としてカウントされ、ポリシーが生成したトークンのみがトレーニングされます。
• 公平な重み付け： 損失は実行ごとに平均化されるため、余分なブランチがその重みを水増しすることはありません。

5件のキャップは、キャップなしのトレーニングスコアと同等でありながら、フォワード・バックワード時間を25.2%削減しました。トレーニングでは改良版の GSPO を使用し、グループあたり16ロールアウトで実行しました。

QwenGyreはどれほど速いのか? ベンチマーク結果

すべての実行ではClaude Code 2.1.220をハーネスとして使用し、同等のGPUバジェットと一致したstaleness設定で行いました。

2.4Tモデルにおいて、QwenGyreは48ステップを75.42時間で完了しました。Asyncは134.55時間、Colocateは91.47時間かかりました。評価の合格率は52.48%から58.54%に上昇しました。

QwenGyreは他のエージェンティックRLフレームワークとどう比較されるのか?

高速化は各プロジェクト自身のセットアップによるものであり、直接比較できるものではありません。

重要なポイント

• QwenGyreは、稼働中のエージェントを停止することなく、ロールアウトとトレーニングの間でGPUを移動させます。
• Trajectory（軌跡）ツリーは実行ごとのサンプル数を5に制限し、共有されるプレフィックスは一度だけ学習します。
• タイムアウトした実行も、部分的な作業に対して採点されます。
• Colocateより最大1.85倍、Asyncより1.78倍高速です。
• Qwen 3.8 2.4T の NL2RepoBench は、48 ステップで 52.5% から 58.5% に向上しました。

チェックしてみてください: フル arXiv上のQwenGyre論文 および Qwenの 発表記事。本プロジェクトの研究者に全ての功績が帰属します。また、ぜひ当社をフォローしてください: Twitter また、私たちの 150k超のML SubReddit および Subscribe to 弊社のニュースレター。待ってください!あなたはTelegram(テレグラム)を使っていますか? 現在、Telegramでもご参加いただけるようになりました。

この投稿 Alibaba QwenがQwenGyreを発表：長期タスクエージェント向けの弾力的な強化学習（RL） 最初に掲載されたのは MarkTechPost.