阿里巴巴的Qwen团队推出了 QwenGyre，这是一个用于极长时程智能体训练的弹性强化学习RL框架。QwenGyre是阿里巴巴的一个在线强化学习系统，通过未经修改的黑盒harness训练编码智能体。它针对运行数小时并处理接近1M token的rollout。 QwenGyre弹性RL框架 被用于Qwen的旗舰Qwen 3.8 2.4T模型。它基于2个核心思想。它在rollout和训练之间调度空闲的GPU。它还将分支的智能体历史转化为有界的训练样本。
TL;DR
- 规模： 这是一个训练框架，而非模型。在Qwen 3.6 122B和Qwen 3.8 2.4T（每个Qwen为A95B）上测试，每次rollout约700K token。
- 运行环境： 多节点GPU集群。122B的运行使用了24到32个节点；2.4T的运行使用了192个节点（4个cell，每个48）。GPU型号未披露。Megatron负责训练，SGLang服务rollout。
- 性能： 在相同分数下，比Async快1.38倍到1.78倍，比Colocate快1.21倍到1.85倍。
- 最佳： 在TerminalBench上比Colocate端到端提速1.85倍。
- 最差： 在2.4T模型上仅比Colocate快1.21倍，其中许多查询接近超时运行。
- 结论：
- 最佳：NL2RepoBench在48步内从52.5%提升到58.5%。
- 最差：论文未提供公开的代码发布链接。
QwenGyre解决了什么问题？
研究团队将“XLong-horizon”任务定义为跨越数小时并包含数百次模型和工具交互的智能体运行。例如根据规格说明生成完整代码库，如 NL2Repo-Bench.
在这个规模下出现了两个问题：
- 首先，rollout存在长尾现象。在Colocate设置中，训练需要等待最慢的执行，同时GPU处于空闲状态。在Async设置中，固定的GPU池无法相互借出闲置算力。
- 其次，像 Claude Code 这样的harness会压缩上下文、派生子智能体并进行重试。一次执行会变成一棵分支树，而不是单一轨迹。展开每条路径会重复共享前缀并推高训练成本。
Elastic 调度器是如何工作的？
QwenGyre 将 GPU 划分为共享同一训练布局的单元（cell）。每个单元既可以提供 rollout 服务，也可以承载完整的训练副本。核心单元拥有权威权重和优化器状态。卫星单元随后加入训练。
调度器跟踪一个推广水位：已排队和正在运行的执行。随着执行完成，一旦剩余的单元仍能服务所有实时工作，单元便切换到训练状态。模型调用通过代理重新路由，因此测试框架持续运行。
关键机制：
- 在重路由过程中,KV-cache块通过RDMA迁移,从而减少前缀重计算。
- 卫星通过 Mooncake 的 Transfer Engine 拉取核心权重并加入正在进行的批次。
- 流式训练让单元格能够在数据就绪时申领微步骤。
- 平均角色切换耗时 8.52 秒（rollout 到 training）和 3.46 秒（training 到 rollout）。
Trajectory Processor 如何构建训练样本？
一个代理记录精确的 token ID 和行为对数概率，使用 token-in, token-out（TITO）. 调用以共享前缀的轨迹树形式存储.
- 部分评分： 超时的执行仍会基于其保留的工作区进行评分。评估器失败会被排除，绝不会被视为零奖励。
- 有界采样： 每个执行最多保留 5 条轨迹，排序为 main > main-summary > sub-agent > sub-agent-summary。
- 去重： 共享目标只计一次，且只有策略生成的 token 会被训练。
- 公平加权： 损失在每个执行内部取平均，因此额外的分支不会增加其权重。
上限设为5的方案在匹配未设上限训练得分的同时，将前向-反向传播时间缩短了25.2%。训练使用改进版 GSPO ，每组16次rollout。
QwenGyre有多快？基准测试结果
所有运行均使用Claude Code 2.1.220作为测试框架，GPU预算相同且陈旧度匹配。
| 工作负载（模型） | 对比Async | 对比Colocate |
|---|---|---|
| NL2RepoBench（Qwen 3.6 122B，48步） | 1.42倍至1.53倍 | 1.36倍至1.47倍 |
| DeepSWE（Qwen 3.6 122B，24步） | 1.569倍至1.572倍 | 1.610倍至1.824倍 |
| TerminalBench（Qwen 3.6 122B，24步） | 1.383倍至1.430倍 | 1.809倍至1.849倍 |
| NL2RepoBench（Qwen 3.8 2.4T，48步） | 1.78倍 | 1.21倍 |
在2.4T模型上，QwenGyre用75.42小时完成了48步。Async耗时134.55小时，Colocate耗时91.47小时。评估通过率从52.48%提升至58.54%。
QwenGyre与其他智能体RL框架相比如何？
| 特性 | QwenGyre | veRL | AReaL | Agent Lightning |
|---|---|---|---|---|
| 开发者 | 阿里巴巴Qwen | 字节跳动Seed + 社区 | 清华大学IIIS + 蚂蚁集团 | 微软 |
| 许可证 | 未公开 | Apache-2.0 | Apache-2.0 | MIT |
| GPU放置 | 弹性单元，可在滚动更新中途切换 | 灵活的设备映射，HybridEngine重分片 | 完全异步 | 未公开 |
| 黑盒评测框架 | 是，通过代理 | 未公开 | 是，通过替换base_url | 是，几乎零代码改动 |
| 训练 / 回滚（rollout） | Megatron / SGLang | FSDP, Megatron / vLLM, SGLang | Megatron, FSDP, Archon / vLLM, SGLang | 未公开 |
| 公开宣称的最大规模 | Qwen 3.8 2.4T | 671B模型 | 未公开 | 未公开 |
| 标称加速比 | 相比Colocate最高可达1.85倍 | 未公开 | 相比同步模式为2.77倍（v0.3） | 未公开 |
| 公开代码 | 未公开 | 是 | 是 | 是的 |
加速来自各项目自身的配置，不能直接进行比较。
关键要点
- QwenGyre 在 rollout 和训练之间迁移 GPU，而无需停止在线 agent。
- 轨迹树将每次执行的样本数上限设为 5，并且只对共享前缀训练一次。
- 超时的运行仍会根据其已完成的部分工作获得评分。
- 比 Colocate 快最高 1.85 倍，比 Async 快 1.78 倍。
- Qwen 3.8 2.4T 在 NL2RepoBench 上的成绩在 48 步内从 52.5% 提升到 58.5%。
请查看 完整 的 arXiv 上的 QwenGyre 论文 以及 Qwen 的 发布公告。所有功劳归于该项目的的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等！你用 telegram 吗？ 现在你也可以在 telegram 上加入我们了。
这篇文章 Alibaba Qwen 推出 QwenGyre:面向超长程智能体(XLong-Horizon Agents)的弹性强化学习(RL) 首发于 MarkTechPost.