نشارك بحثًا جديدًا في التدريب اللاحق حول التقطيع الذاتي + التعلم المعزز (JOLT)، أُنجز بالتعاون مع @NVIDIAAI.
في التقطيع الذاتي، يقوم النموذج نفسه بدور المعلم والطالب معًا. يحصل المعلم على معلومات إضافية لا يحصل عليها الطالب، ويتعلم الطالب من الملاحظات التي يقدمها المعلم. ومع ذلك، لا يزال بإمكان المعلم استخدام طرق مختصرة بأساليب لا سبيل للطالب إلى اتباعها.
نهجنا المقترح، JOLT، يدرب المعلم أيضًا على التعلم من المكافآت على محاولاته الخاصة، مع معاقبة أي انحراف بعيد عما قد يفعله نموذج الطالب. ويكمل JOLT+ أسلوب JOLT بشكل أكبر من خلال تزويد نموذج الطالب بمكافآت قائمة على النتائج إضافة إلى إشارات الإشراف من المعلم.
على معيار MATH، وجدنا أن JOLT يحقق أداءً يعادل GRPO بعدد رموز تدريب أقل بمعدل 6.5 مرة، بينما يتفوق JOLT+ بوضوح على GRPO عبر معايير الرياضيات والبرمجة ومهام الطرفية واستخدام الأدوات.