Alibaba의 Qwen 팀이 공개했습니다 QwenGyre, 극단적으로 긴 시야 에이전트 훈련을 위한 탄력적 강화학습(RL) 프레임워크입니다. QwenGyre는 Alibaba의 온라인 강화학습 시스템으로, 수정되지 않은 블랙박스 하네스를 통해 코딩 에이전트를 훈련합니다. 수 시간 동안 실행되며 거의 1M 토큰을 처리하는 롤아웃을 목표로 합니다. QwenGyre 탄력적 RL 프레임워크 는 Qwen의 플래그십 Qwen 3.8 2.4T 모델에 사용되었습니다. 이는 2가지 핵심 아이디어에 기반합니다. 유휴 GPU를 롤아웃과 훈련 사이에서 이동시키고, 분기하는 에이전트 이력을 경계가 있는 훈련 샘플로 변환합니다.
TL;DR
- 크기: 모델이 아닌 훈련 프레임워크입니다. Qwen 3.6 122B 및 Qwen 3.8 2.4T (Qwen 기준 A95B)에서 테스트되었으며, 롤아웃당 약 700K 토큰을 처리합니다.
- 실행 환경: 멀티노드 GPU 클러스터. 122B 실행에는 24~32개 노드가 사용되었고, 2.4T 실행에는 192개 노드(48개씩 4셀)가 사용되었습니다. GPU 모델은 공개되지 않았습니다. Megatron이 훈련을 담당하고, SGLang이 롤아웃을 서빙합니다.
- 성능: 동일한 점수 조건에서 Async보다 1.38배~1.78배 빠르고, Colocate보다 1.21배~1.85배 빠릅니다.
- 최고: TerminalBench에서 Colocate 대비 1.85배 엔드투엔드 속도 향상.
- 최악: 2.4T 모델에서는 Colocate 대비 1.21배에 불과했으며, 여기서는 많은 쿼리가 타임아웃 근처에서 실행되었습니다.
- 요약:
- 최고: NL2RepoBench가 48스텝 만에 52.5%에서 58.5%로 상승.
- 최악: 논문은 공개 코드 릴리스 링크를 제공하지 않습니다.
QwenGyre는 어떤 문제를 해결하는가?
연구팀은 'XLong-horizon' 작업을 수 시간에 걸치고 수백 번의 모델 및 도구 상호작용을 포함하는 에이전트 실행으로 정의합니다. 예를 들어 다음과 같이 스펙으로부터 전체 리포지토리를 생성하는 작업이 있습니다 NL2Repo-Bench.
이 규모에서 두 가지 문제가 나타납니다:
- 첫째, 롤아웃에는 긴 꼬리(long tail)가 있습니다. Colocate 설정에서는 훈련이 가장 느린 실행을 기다리는 동안 GPU가 유휴 상태가 됩니다. Async 설정에서는 고정된 GPU 풀이 서로 여유 용량을 빌려줄 수 없습니다.
- 둘째, 다음과 같은 하네스는 Claude Code 컨텍스트를 압축하고, 하위 에이전트를 생성하고, 재시도합니다. 하나의 실행은 단일 궤적이 아니라 분기하는 트리가 됩니다. 모든 경로를 확장하면 공유 접두사가 중복되어 훈련 비용이 증가합니다.
Elastic Scheduler는 어떻게 작동하나요?
QwenGyre는 훈련 레이아웃을 공유하는 셀(cell)로 GPU를 분할합니다. 각 셀은 롤아웃을 제공하거나 완전한 훈련 레플리카를 호스팅할 수 있습니다. 코어 셀은 권위 있는 가중치와 옵티마이저 상태를 소유합니다. 새틀라이트 셀은 나중에 훈련에 합류합니다.
스케줄러는 롤아웃 워터레벨, 즉 대기 중이거나 실행 중인 실행(execution)들을 추적합니다. 실행들이 완료됨에 따라, 남은 셀들이 여전히 모든 살아있는 작업을 처리할 수 있게 되면 셀들은 훈련으로 전환합니다. 모델 호출은 프록시를 통해 재라우팅되므로 하네스는 계속 실행 상태를 유지합니다.
핵심 메커니즘:
- 재라우팅 중에 KV-cache 블록이 RDMA를 통해 마이그레이션되어 접두어 재계산을 줄입니다.
- 샤틀라이트 셀들은 Mooncake의 Transfer Engine을 통해 코어 가중치를 가져와 진행 중인 배치에 합류합니다.
- 스트리밍 훈련을 통해 셀들은 데이터가 준비되는 대로 마이크로 스텝을 확보할 수 있습니다.
- 역할 전환에는 평균 8.52 s(롤아웃에서 훈련으로) 및 3.46 s(훈련에서 롤아웃으로)가 소요되었습니다.
Trajectory Processor는 어떻게 훈련 샘플을 만드나요?
프록시는 다음을 사용하여 정확한 토큰 ID와 동작 로그 확률을 기록합니다. token-in, token-out (TITO). 호출은 접두어를 공유하는 궤적 트리(trajectory tree)로 저장됩니다.
- 부분 채점: 시간 초과된 실행도 보존된 작업 공간에서 채점됩니다. 이블류에이터 실패는 제외되며, 절대 보상 0으로 처리되지 않습니다.
- 제한된 샘플링: 실행당 최대 5개의 궤적이 유지되며, main > main-summary > sub-agent > sub-agent-summary 순으로 순위가 매겨집니다.
- 중복 제거: 공유되는 타깃은 한 번만 계산되며, 정책이 생성한 토큰만 훈련됩니다.
- 공정한 가중치 부여: 손실은 각 실행 내부에서 평균화되므로, 추가 브랜치가 해당 실행의 가중치를 부풀리지 않습니다.
5개 매치 캡은 커프트리미티드(uncapped) 학습 점수와 동일한 성과를 내면서 forward-backward 시간을 25.2% 단축했습니다. 학습은 다음을 개조하여 사용합니다: GSPO 그룹당 16개의 롤아웃을 사용합니다.
QwenGyre는 얼마나 빠를까요? 벤치마크 결과
모든 실행은 Claude Code 2.1.220을 하네스로 사용했으며, 동일한 GPU 예산과 매치된 staleness 조건으로 진행되었습니다.
| 워크로드 (모델) | Async 대비 | Colocate 대비 |
|---|---|---|
| NL2RepoBench (Qwen 3.6 122B, 48 steps) | 1.42x ~ 1.53x | 1.36x ~ 1.47x |
| DeepSWE (Qwen 3.6 122B, 24 steps) | 1.569x ~ 1.572x | 1.610x ~ 1.824x |
| TerminalBench (Qwen 3.6 122B, 24 steps) | 1.383x ~ 1.430x | 1.809x ~ 1.849x |
| NL2RepoBench (Qwen 3.8 2.4T, 48 steps) | 1.78x | 1.21x |
2.4T 모델에서 QwenGyre는 48 steps를 75.42시간 만에 완료했습니다. Async는 134.55시간, Colocate는 91.47시간이 걸렸습니다. 평가 통과율은 52.48%에서 58.54%로 상승했습니다.
QwenGyre는 다른 에이전틱 RL 프레임워크와 어떻게 비교될까요?
| 특징 | QwenGyre | veRL | AReaL | Agent Lightning |
|---|---|---|---|---|
| 개발자 | Alibaba Qwen | ByteDance Seed + 커뮤니티 | Tsinghua IIIS + Ant Group | Microsoft |
| 라이선스 | 공개되지 않음 | Apache-2.0 | Apache-2.0 | MIT |
| GPU 배치 | 탄력적 셀, 롤아웃 중간 전환 | 유연한 디바이스 매핑, HybridEngine 리셰이딩 | 완전 비동기 | 공개되지 않음 |
| 블랙박스 하네스 | 예, 프록시를 통해 | 공개되지 않음 | 예, base_url 교체를 통해 | 예, 거의 코드 변경 없이 |
| 학습 / 롤아웃 | Megatron / SGLang | FSDP, Megatron / vLLM, SGLang | Megatron, FSDP, Archon / vLLM, SGLang | 공개되지 않음 |
| 공식 발표된 최대 규모 | Qwen 3.8 2.4T | 671B 모델 | 공개되지 않음 | 공개되지 않음 |
| 대표적인 속도 향상 | Colocate 대비 최대 1.85x | 공개되지 않음 | 동기식 대비 2.77x (v0.3) | 공개되지 않음 |
| 공개 코드 | 공개되지 않음 | 예 | 예 | 예 |
속도 향상은 각 프로젝트 자체의 설정에서 비롯된 것이며 직접 비교할 수 없습니다.
핵심 요약
- QwenGyre는 실행 중인 에이전트를 중단하지 않고 롤아웃과 훈련 간에 GPU를 이동시킵니다.
- 트래젝터리 트리는 실행당 샘플을 5개로 제한하고 공유 접두사는 한 번만 훈련합니다.
- 시간 초과된 실행도 부분적으로 수행한 작업에 대해 점수를 받습니다.
- Colocate보다 최대 1.85배, Async보다 최대 1.78배 빠릅니다.
- Qwen 3.8 2.4T NL2RepoBench가 48단계에서 52.5%에서 58.5%로 향상되었습니다.
다음을 확인해 보세요. arXiv의 전체 QwenGyre 논문 그리고 Qwen의 발표 포스트 . 이 프로젝트의 모든 크레딧은 해당 연구자에게 돌아갑니다. 또한 저희를이 프로젝트의 연구자에게 모든 공은 돌아갑니다. 또한 언제든지 저희를 팔로우해 주세요. 에서 팔로우하고 저희의 150k+ML SubReddit 150k+ML SubReddit 저희 뉴스레터 를 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요?이제 텔레그램에서도 저희와 함께하실 수 있습니다. 다음 포스트
Alibaba Qwen Introduces QwenGyre: Elastic Reinforcement Learning RL for XLong-Horizon Agents 는 최초로 MarkTechPost 에 게재되었습니다..