علي بابا Qwen تقدم QwenGyre: تعلّم معزز مرن RL للوكلاء طويلي الأفق للغاية XLong

قدّم فريق Qwen في علي بابا QwenGyre، وهو إطار تعلّم معزز مرن RL لتدريب الوكلاء ذاتي الأفق الطويل للغاية. QwenGyre هو نظام تعلّم معزز عبر الإنترنت من علي بابا يدرب وكلاء البرمجة من خلال أُطر عمل صندوق أسود غير معدّلة. يستهدف عمليات التدوير التي تمتد لساعات وتعالج ما يقارب مليون 1 رمز. كان إطار QwenGyre المرن للتعلم المعزز مستخدَماً على النموذج الرائد من Qwen وهو Qwen 3.8 بحجم 2.4T. يقوم على فكرتين أساسيتين: 2. ينقل وحدات المعالجة الرسومية الخاملة بين التدوير والتدريب. كما يحوّل تواريخ الوكلاء المتفرعة إلى عينات تدريب محدودة.

TL;DR

• الحجم: إطار تدريب، وليس نموذجاً. تم اختباره على Qwen 3.6 بحجم 122B وQwen 3.8 بحجم 2.4T (A95B وفق Qwen)، مع حوالي 700K رمز لكل تدوير.
• يعمل على: عناقيد GPU متعددة العقد. استخدمت تشغيلات 122B من 24 إلى 32 عقدة؛ واستخدم تشغيل 2.4T عقدتين 192 (4 خلايا من 48). لم يُفصح عن موديل GPU. يتولى Megatron التدريب، وSGLang خدمة عمليات التدوير.
• الأداء: أسرع بمقدار 1.38x إلى 1.78x من Async، وأسرع بمقدار 1.21x إلى 1.85x من Colocate، عند درجات متساوية.
• الأفضل: تسريع من البداية للنهاية بمقدار 1.85x مقارنة بـ Colocate على TerminalBench.
• الأضعف: فقط 1.21x مقارنة بـ Colocate على نموذج 2.4T، حيث جرت العديد من الاستعلامات قرب مهلة الانتظار القصوى.
• الخلاصة:
  • الأفضل: يرتفع NL2RepoBench من 52.5% إلى 58.5% في 48 خطوة.
  • الأضعف: لا يرافق الورقة أي إصدار عام للشيفرة البرمجية.

ما المشكلة التي يحلها QwenGyre؟

يعرّف فريق البحث مهام ‘XLong-horizon’ على أنها تشغيلات وكلاء تمتد لساعات وتشمل مئات التفاعلات مع النموذج والأدوات. تشمل الأمثلة توليد مستودعات كاملة من المواصفات، كما في NL2Repo-Bench.

تظهر مشكلتان عند هذا المقياس:

• أولاً، عمليات التدوير لها نهايات طويلة. في إعداد Colocate، ينتظر التدوير أبطأ تنفيذ بينما تبقى وحدات GPU خاملة. وفي إعداد Async، لا تستطيع مجاميع GPU الثابتة إقراض السعة الفائضة لبعضها البعض.
• ثانياً، أُطر العمل مثل Claude Code تضغط السياق، وتنشيء وكلاء فرعيين، وتعيد المحاولة. يصبح التنفيذ الواحد شجرة متفرعة وليس مساراً واحداً. توسيع كل مسار يكرر البادئات المشتركة ويضخّم تكلفة التدريب.

كيف يعمل مجدول Elastic Scheduler؟

يقسّم QwenGyre وحدات معالجة الرسوميات (GPUs) إلى خلايا تتشارك تصميم تدريب واحد. يمكن لكل خلية تنفيذ عمليات rollout أو استضافة نسخة تدريب كاملة. تمتلك الخلية الأساسية الأوزان الرسمية وحالة المُحسِّن (optimizer state). تنضم الخلايا التابعة (satellite) إلى التدريب لاحقًا.

يتتبع المجدول مستوى مياه الـ rollout: التنفيذات المنتظرة والجارية. ومع انتهاء التنفيذات، تتحول الخلايا إلى التدريب بمجرد أن يصبح بإمكان الخلايا المتبقية مواصلة خدمة كل الأعمال الحية. تُعاد توجيه استدعاءات النموذج عبر وسيط (proxy)، فبقي الهارنس (harness) يعمل.

الآليات الأساسية:

• تنتقل كتل KV-cache عبر RDMA أثناء إعادة التوجيه، مما يقلل من إعادة حساب البادئة.
• تسحب الخلايا التابعة أوزان الخلية الأساسية عبر Transfer Engine من Mooncake وتنضم إلى دفعة جارية.
• التدريب التدريجي (streaming) يتيح للخلايا حجز الخطوات الجزئية (micro-steps) كلما صارت البيانات جاهزة.
• بلغ متوسط تبديل الأدوار 8.52 ثانية (من rollout إلى التدريب) و3.46 ثانية (من التدريب إلى rollout).

كيف يبني معالج المسارات (Trajectory Processor) عينات التدريب؟

يسجّل الوسيط (proxy) معرّفات الرموز (token IDs) الدقيقة واحتمالات السلوك اللوغاريتمية (behavior log-probabilities) باستخدام token-in, token-out (TITO). تُخزَّن الاستدعاءات كأشجار مسارات تتشارك البادئات (prefix-shared trajectory trees).

• التقييم الجزئي: التنفيذات التي انتهت مهلتها تُقيَّم أيضًا على مساحة عملها المحفوظة. أما إخفاقات المُقيِّم فتُستبعد ولا تُعامل أبدًا كمكافأة صفرية.
• أخذ العينات المحدود: تُحفظ 5 مسارات كحد أقصى لكل تنفيذ، مرتّبة حسب main > main-summary > sub-agent > sub-agent-summary.
• إزالة التكرار: تُحسب الأهداف المشتركة مرة واحدة، ولا تُدرَّب سوى الرموز الناتجة عن السياسة (policy-generated).
• الترجيح العادل: تُحسب الخسائر بمتوسط داخل كل تنفيذ، بحيث لا تُضخّم الفروع الإضافية وزنه.

غطّت سقف بحدود 5 نتائج التدريب غير المحدودة مع خفض وقت التمرير الأمامي-الخلفي بنسبة 25.2%. يستخدم التدريب نسخة معدّلة من GSPO بـ 16 عملية تنفيذ (rollout) لكل مجموعة.

ما مدى سرعة QwenGyre؟ نتائج الاختبارات المعيارية

استخدمت جميع التشغيلات Claude Code 2.1.220 كإطار تنفيذ، مع ميزانيات GPU متساوية وتقادم متطابق.

على نموذج 2.4T، أكمل QwenGyre الخطوات الـ 48 في 75.42 ساعة. استغرق Async 134.55 ساعة واستغرق Colocate 91.47 ساعة. ارتفع معدل نجاح التقييم من 52.48% إلى 58.54%.

كيف يقارن QwenGyre بأطر RL الوكيلية الأخرى؟

التسريعات ناتجة عن إعداد كل مشروع نفسه وهي غير قابلة للمقارنة مباشرة.

أهم النقاط

• ينقل QwenGyre وحدات معالجة الرسومات بين مرحلة النشر والتدريب دون إيقاف الوكلاء النشطين.
• تحصر أشجار المسارات العينات عند 5 لكل تنفيذ وتدرّب البادئات المشتركة مرة واحدة.
• ما زالت عمليات التشغيل التي انتهت مهلتها تحصل على تقييم بناءً على عملها الجزئي.
• أسرع بـ 1.85 مرة من Colocate وأسرع بـ 1.78 مرة من Async.
• تحسّن Qwen 3.8 2.4T NL2RepoBench من 52.5% إلى 58.5% في 48 خطوة.

اطّلع على كامل ورقة QwenGyre على arXiv و تابع شركة Qwen منشور الإعلان. كل الفضل يعود إلى باحث هذا المشروع. كما يمكنكم متابعتنا على تويتر ولا تنسَ الانضمام إلى 150k+ مجتمع ML الفرعي على ريديت والاشتراك في نشرة我们在's Newsletter. انتظر! هل أنت على تيليجرام؟ يمكنكم الآن الانضمام إلينا على تيليجرام أيضًا.

المنشور علي بابا كوين تقدّم QwenGyre: تعلّم معزز مرن RL لوكلاء الأفق الطويل XLong ظهر لأول مرة في MarkTechPost.