Perplexity، بالتعاون مع فريق NVIDIA، قدّمت JOLT، وهي طريقة تدريب لاحق جديدة للنماذج اللغوية. JOLT اختصار لـ Joint On-policy Learning and Teaching. تدرّب نموذجاً واحداً في 2 من الأدوار. يرى المعلّم معلومات ممتازة؛ بينما لا يراها الطالب. التغيير الأساسي هو أن المعلّم يُدرَّب أيضاً، فيبقى تقييمه قابلاً للاستخدام. على MATH، حققت JOLT دقة GRPO مع معالجة عدد من رموز التدريب أقل بمقدار 6.5x. وللفرق التي تُجري تدريباً لاحقاً بالتعلم المعزز، فهذه مسألة حوسبة مباشرة.
TL;DR
- ما هي: طريقة تدريب لاحق.
- الحجم: اختُبرت على Qwen3-0.6B و Qwen3-4B-Instruct و Qwen3-8B و Qwen3-30B-A3B-Instruct و DeepSeek-V2-Lite.
- تعمل على: 1 نموذج مشترك يؤدي الدورين، فلا حاجة إلى نموذج معلّم منفصل. عتاد التدريب: غير معلن.
- الأداء: سجّلت JOLT+ أعلى متوسط نقاط في كل بيئة مُختبرة مقابل GRPO و OPSD و π-Distill.
- الأفضل: معدل نجاح اختبار الحالة في AppWorld بلغ 72.09% مع JOLT+، مقابل 62.20% لـ GRPO (+9.9 نقطة).
- الأسوأ: سجّلت JOLT دون مكافأة الطالب 51.92% على AppWorld، أي أقل من GRPO.
ما هو Perplexity JOLT؟
JOLT هي طريقة تقطير ذاتي من Perplexity و NVIDIA تدرّب نموذجاً واحداً كمعلّم وطالب. وهي مبنية على On-Policy Self-Distillation (OPSD).
لماذا يحتاج التدريب اللاحق بالتعلم المعزز إلى معلّم أفضل؟
التعلم المعزز بمكافأة النتيجة، مثل GRPO، يمنح مكافأة واحدة لكل محاولة. هذه الإشارة متفرقة، ولا تشير إلى أي الرموز ساعدت. في المهام الوكيلة الطويلة، تكون النجاحات نادرة، فيصبح التعلم بطيئاً.
التقطير على السياسة (On-Policy Distillation) يعالج التفرق من خلال معلّم أقوى يقيّم كل رمز من رموز الطالب. وتزيل OPSD المعلّم المنفصل. يصبح النموذج نفسه هو المعلّم عند منحه سياقاً ممتازاً، مثل حلّ موثّق.
يجادل فريق البحث بأن هذا غير كافٍ. فالمعلّم الذي يملك الإجابة يمكنه اتخاذ طرق مختصرة لا يستطيع الطالب اتباعها. وقد يقع توجيهه خارج نطاق قدرات الطالب. وفي الورقة البحثية، يزداد التباين بين المعلّم والطالب في OPSD أثناء التدريب على MATH.
كيف تعمل JOLT؟
تدرّب JOLT كلا الدورين لنموذج مشترك واحد في الوقت نفسه:
- المعلم: يحصل على معلومات مميزة. يتعلم من مكافآت النتائج، إضافة إلى عقوبة KL التي تُبقيه قريبًا من الطالب.
- الطالب: يرى المهمة فقط. يتعلم من إشارة التقطير على مستوى الرموز من المعلم على محاولاته الخاصة.
- على السياسة (On-policy): كل دور يتعلم من مسارات مولّدة في سياقه الخاص.
- JOLT+: يضيف مكافأة النتيجة الخاصة بالطالب إلى تحديث الطالب.
يقف البحث في المركز على معلم 'متسق مع المكافأة'. يجب أن يشير تحديث تقطيره في الاتجاه نفسه الذي يشير إليه تدرّج مكافأة الطالب. المعلم المثالي يفضل الإجراءات عالية الأفضلية مع البقاء قريبًا من سياسة الطالب.
كيف يُدفّ JOLT على المعايير القياسية؟
اختبر فريق البحث 5 إعدادات، كل منها بنموذج أساسي مختلف ونوع مختلف من المعلومات المميزة:
- GSM8K: DeepSeek-V2-Lite؛ يحصل المعلم على الإجابة الموثّقة.
- MATH: Qwen3-0.6B؛ يحصل المعلم على حلول مرجعية مفصّلة.
- LiveCodeBench v6: Qwen3-8B على 131 مسألة؛ يحصل المعلم على حل شقيق ناجح أو ملاحظات تنفيذ.
- AppWorld: Qwen3-4B-Instruct؛ يحصل المعلم على ملخصات المحاولات السابقة.
- Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct مدرَّب على TMax؛ يحصل المعلم على ملفات مُحقِّق خاصة.
حقّق JOLT+ أعلى متوسط درجة في كل إعداد. مقابل GRPO، الحد الأساسي الأقوى، اكتسب 1.5 نقطة على GSM8K. كما اكتسب 4.2 على MATH، و3.0 على LCBv6، و9.9 على AppWorld. على Terminal-Bench 2.1، وصل JOLT+ إلى 10.96% pass@1 و34.83% pass@32. سجّل GRPO نسبة 8.25% و30.34%.
حتى JOLT العادي، دون أي مكافأة للطالب، تفوّق على GRPO في MATH: بنسبة 72.14% مقابل 68.36%.
كم من حوسبة التدريب يوفّر JOLT؟
على مجموعة MATH، ملاءم فريق البحث منحنيات الدقة مقابل ميزانيات رموز التدريب. عند دقة 63.44%، استخدم نقطة حفظ GRPO ما مقداره 8.40M من رموز التدريب المعالجة. احتاج المنحنى المُلائم لـ JOLT إلى 1.30M فقط، أي انخفاض بمقدار 6.5x. وعند احتساب رموز الإكمال فقط، تتسع الفجوة إلى نحو 13x. وعبر مستهدفات الدقة من 55% إلى 65%، تتراوح الوفورات من 4.3x إلى 7.4x على الرموز المعالجة.
كما يستقر JOLT عند مستوى أعلى. إذ يبلغ هضبة قرب 72%، مقابل نحو 70% لـ GRPO و62% لـ OPSD.
كيف يقارن JOLT بـ GRPO وOPSD وπ-Distill؟
جميع الدرجات أدناه مأخوذة من تشغيلات Perplexity نفسها في ورقة JOLTمع ضبط المعاملات الفائقة لكل طريقة على حدة. وترتبط أوصاف الطرق بأوراق كل طريقة الخاصة.
| الخاصية | JOLT | JOLT+ | GRPO | OPSD | π-Distill |
|---|---|---|---|---|---|
| نموذج معلم منفصل | لا | لا | لا يوجد معلم | لا (معلم ذاتي) | لا (نموذج مشترك) |
| تدريب المعلم | نعم (مكافأة + KL إلى الطالب) | نعم (مكافأة + KL إلى الطالب) | غير منطبق | لا | نعم (منتظم بـ KL) |
| إشارة الطالب | تقطير كثيف، on-policy | تقطير + مكافأة نتيجة | مكافأة نتيجة نسبية للمجموعة | تقطير كثيف، on-policy | خارج السياسة، مسارات المعلم |
| MATH، Qwen3-0.6B (%) | 72.14 ± 0.90 | 72.59 ± 1.17 | 68.36 ± 3.73 | 61.20 ± 2.10 | 42.25 ± 1.10 |
| LCBv6، Qwen3-8B (%) | 47.64 ± 1.10 | 49.08 ± 0.41 | 46.13 ± 1.83 | 45.34 ± 1.50 | 38.23 ± 1.72 |
| AppWorld، Qwen3-4B (%) | 51.92 ± 5.30 | 72.09 ± 6.01 | 62.20 ± 2.83 | 29.49 ± 2.48 | 59.85 ± 2.97 |
| Terminal-Bench 2.1 pass@1 (%) | 6.56 | 10.96 | 8.25 | 2.82 | 4.99 |
| Terminal-Bench 2.1 pass@32 (%) | 25.69 | 34.83 | 30.34 | 16.90 | 22.31 |
| الشيفرة | لم يُصدر بعد | لم يُصدر بعد | غير مُفصح عنه | GitHub | غير مُفصح عنه |
النموذج الأساسي في Terminal-Bench: 5.18% pass@1، 22.81% pass@32.
الخلاصات الرئيسية
- 1 نموذج يلعب دور المعلم والطالب، ويتم تدريب المعلم أيضًا.
- عدد الرموز المعالجة أقل بمقدار 6.5x من GRPO عند دقة MATH متطابقة.
- يتفوق JOLT+ على GRPO بفارق 9.9 نقطة على AppWorld.
- لا يزال JOLT العادي متأخرًا عن GRPO على AppWorld وTerminal-Bench.
اطّلع على الورقة البحثية على arXiv و منشور مدونة أبحاث Perplexity. كل الفضل يعود إلى باحث هذا المشروع. كما لا تترددوا في متابعتنا على تويتر ولا تنسوا الانضمام إلى 150k+ML SubReddit والاشتراك في نشرةنا البريدية. مهلًا! هل أنت على تيليجرام؟ يمكنك الآن الانضمام إلينا على تيليجرام أيضًا.
هل تحتاج إلى الشراكة معنا للترويج لمستودع GitHub الخاص بك أو صفحة Hugging Face أو إطلاق منتج أو ندوة عبر الإنترنت وغيرها؟ تواصل معنا
ظهر المقال باحثو Perplexity وNVIDIA يقدمون JOLT: طريقة تعلم معزز مشتركة بين المعلم والطالب أولًا على ماركتِك بوست.