El equipo Qwen de Alibaba ha introducido QwenGyre, un marco de aprendizaje por refuerzo elástico RL para el entrenamiento de agentes de horizonte extremadamente largo. QwenGyre es un sistema de aprendizaje por refuerzo en línea de Alibaba que entrena agentes de codificación a través de arneses black-box sin modificar. Apunta a implementaciones que se ejecutan durante horas y procesan cerca de 1M tokens. El marco de aprendizaje por refuerzo elástico RL de QwenGyre se utilizó en el modelo insignia de Qwen, el Qwen 3.8 2.4T. Se basa en 2 ideas centrales. Mueve las GPU inactivas entre la implementación y el entrenamiento. También convierte las historias de agentes ramificados en muestras de entrenamiento limitadas.
TL;DR
- Tamaño: Un marco de entrenamiento, no un modelo. Probado en Qwen 3.6 122B y Qwen 3.8 2.4T (A95B por Qwen), con ~700K tokens por lanzamiento.
- Funciona en: clústeres de GPU con múltiples nodos. La ejecución de 122B utilizó entre 24 y 32 nodos; la ejecución de 2.4T utilizó 192 nodos (4 celdas de 48). El modelo del GPU no se ha divulgado. Los trenes Megatron y SGLang se están implementando.
- Rendimiento: 1.38x a 1.78x más rápido que Async, 1.21x a 1.85x más rápido que Colocate, en los mismos puntajes.
- Mejor: 1.85 veces mayor aceleración de velocidad de punta a punta en Colocate en TerminalBench.
- Peor: Solo 1.21 veces más que Colocate en el modelo 2.4T, donde muchas consultas se quedaron cerca del tiempo límite.
- Conclusión:
- Mejor: NL2RepoBench aumenta de 52.5% a 58.5% en 48 pasos.
- Peor: los enlaces del artículo no indican la publicación de código público.
¿Qué problema resuelve QwenGyre?
El equipo de investigación define las tareas ‘XLong-horizon’ como ejecuciones del agente que abarcan horas y cientos de interacciones de modelos y herramientas. Ejemplos incluyen la generación de repositorios completos a partir de especificaciones, como en NL2Repo-Bench.
Dos problemas aparecen a esta escala:
- Primero, las implementaciones tienen colas largas. En un entorno Colocate, el entrenamiento espera a la ejecución más lenta mientras las GPUs están inactivas. En un entorno Asíncrono, los grupos fijos de GPU no pueden prestar capacidad disponible entre sí.
- En segundo lugar, herramientas como Claude Code comprimen el contexto, generan sub-agents y repiten el proceso. Una ejecución se convierte en un árbol ramificado, no en una única trayectoria. Al expandir cada camino, se duplican los prefijos comunes y aumenta el costo de entrenamiento.
¿Cómo funciona el Programador de Elastic?
QwenGyre divide las GPU en celdas que comparten un diseño de entrenamiento. Cada celda puede servir para despliegues o albergar una réplica completa de entrenamiento. Una celda central posee los pesos autoritarios y el estado del optimizador. Las celdas satelíticas se unen al entrenamiento más tarde.
El planificador monitorea el nivel de agua de la implementación: las ejecuciones en cola y en ejecución. Cuando las ejecuciones terminan, las celdas pasan al entrenamiento una vez que las celdas restantes todavía pueden servir toda la tarea en vivo. Las llamadas al modelo se redirigen a través de un proxy, por lo que el harness sigue funcionando.
Mecánicas clave:
- Los bloques de KV-cache se migran a través de RDMA durante el redireccionamiento, reduciendo la recomputación del prefijo.
- Los satélites levantan pesas centrales a través del Motor de Transferencia de Mooncake y se unen a un lote en curso.
- El entrenamiento en streaming permite que las células tomen micropas cuando los datos estén listos.
- El tiempo promedio para los cambios de rol fue de 8.52 s (despliegue al entrenamiento) y 3.46 s (entrenamiento al despliegue).
¿Cómo construye el Trajectory Processor muestras de entrenamiento?
Un proxy registra los identificadores exactos de tokens y las probabilidades del registro de comportamiento usando token-in, token-out (TITO). Los llamados se almacenan como árboles de trayectoria compartidos con prefijo.
- Puntuación parcial: Las ejecuciones con tiempo agotado siguen puntuándose en su espacio de trabajo conservado. Los fallos del evaluador están excluidos, nunca se trata como una recompensa nula.
- Muestreo limitado: En cada ejecución se conservan al menos 5 trayectorias, clasificadas como main > main-summary > sub-agent > sub-agent-summary.
- Deduplicación: Los objetivos compartidos se contabilizan una vez, y solo los tokens generados por la política son entrenados.
- Peso equitativo: Las pérdidas se promedian en cada ejecución, por lo que las ramas adicionales no aumentan su peso.
Un umbral de 5 puntuaciones de entrenamiento sin limite, mientras que el tiempo de avanzar y retroceder se reduce en un 25.2%. El entrenamiento utiliza un GSPO adaptado, con 16 implementaciones por grupo.
¿Qué tan rápido es QwenGyre? Resultados de benchmark
Todas las ejecuciones utilizaron Claude Code 2.1.220 como harness, con presupuestos iguales para la GPU y estado de inactividad coincidente.
| Carga de trabajo (modelo) | vs Asíncrono | vs Coloque junto |
|---|---|---|
| NL2RepoBench (Qwen 3.6 122B, 48 pasos) | 1.42x a 1.53x | 1.36x a 1.47x |
| DeepSWE (Qwen 3.6 122B, 24 pasos) | 1.569x a 1.572x | 1.610x a 1.824x |
| TerminalBench (Qwen 3.6 122B, 24 pasos) | 1.383x a 1.430x | 1.809x a 1.849x |
| NL2RepoBench (Qwen 3.8 2.4T, 48 pasos) | 1.78x | 1.21x |
En el modelo 2.4T, QwenGyre completó 48 pasos en 75.42 horas. Async tardó 134.55 horas y Colocate tardó 91.47 horas. La tasa de éxito de la evaluación aumentó de 52.48% a 58.54%.
¿Cómo se compara QwenGyre con otros marcos de RL agentic?
| Característica | QwenGyre | veRL | AReaL | Agent Lightning |
|---|---|---|---|---|
| Desarrollador | Alibaba Qwen | ByteDance Seed + comunidad | Tsinghua IIIS + Ant Group | Microsoft |
| Licencia | No divulgado | Apache-2.0 | Apache-2.0 | MIT |
| Colocación de GPU | Células elásticas, en fase de implementación intermedia | Mapeo de dispositivos flexible, reconfiguración de HybridEngine | Totalmente asíncrono | No divulgado |
| Harness de caja negra | Sí, a través de un proxy | No divulgado | Sí, a través del intercambio de base_url | Sí, cambios en el código son casi nulos |
| Entrenamiento / implementación | Megatron / SGLang | FSDP, Megatron / vLLM, SGLang | Megatron, FSDP, Archon / vLLM, SGLang | No divulgado |
| Escala máxima indicada | Qwen 3.8 2.4T | Modelos 671B | No divulgado | No divulgado |
| Aceleración de velocidad del título | Hasta 1.85 veces vs Colocate | No divulgado | 2.77x contra sincrónico (v0.3) | No divulgado |
| Código público | No divulgado | Sí | Sí | Sí |
Los aceleraciones provienen de la configuración de cada proyecto y no son directamente comparables.
Conclusiones Clave
- QwenGyre mueve las GPU entre el despliegue y el entrenamiento sin detener a los agentes en vivo.
- Los árboles de trayectoria limitan las muestras de los casquillos a 5 por ejecución y entrenan los prefijos compartidos una vez.
- Las ejecuciones con tiempo expirado todavía se puntúan según su trabajo parcial.
- Hasta 1.85 veces más rápido que Colocate y 1.78 veces más rápido que Async.
- Qwen 3.8 2.4T NL2RepoBench mejoró del 52.5% al 58.5% en 48 pasos.
Revisa el artículo completo de QwenGyre en arXiv y el artículo de anuncio de Qwen. Todo el crédito pertenece al investigador de este proyecto. También, no dudes en seguirnos en Twitter y, por supuesto, únete a nuestro subreddit de 150k+ ML y suscríbete a nuestro boletín informativo. ¡Espera! ¿Estás en Telegram? Ahora puedes unirte a nosotros en Telegram también.
El artículo Alibaba Qwen Introduce QwenGyre: Aprendizaje Reforzado Elástico RL para Agentes de Horizonte XLong apareció primero en MarkTechPost.