分享一项关于自蒸馏 + 强化学习(JOLT)的新训练后研究成果,与 @NVIDIAAI 合作完成。
在自蒸馏中,同一个模型同时扮演教师和学生的角色。教师获得学生所没有的额外信息,学生则从教师提供的反馈中学习。然而,教师仍可能使用学生无法效仿的捷径。
我们提出的方法 JOLT 同样对教师进行训练,使其从自身尝试的奖励中学习,同时对偏离学生模型行为太远的漂移进行惩罚。JOLT+ 进一步对 JOLT 进行补充,在教师监督信号之外,还为学生模型提供基于结果的奖励。
在 MATH 基准上,我们发现 JOLT 以少 6.5 倍的训练 token 达到了与 GRPO 相当的效果,而 JOLT+ 在数学、编程、终端任务和工具使用基准上明显优于 GRPO。