@NVIDIAAI와 함께 수행한 셀프 증류(self-distillation) + 강화학습(RL) 기반 포스트 트레이닝 연구인 JOLT에 대한 새 글을 공유합니다.
셀프 증류에서는 동일한 모델이 교사(teacher)와 학생(student)의 역할을 모두 수행합니다. 교사는 학생이 얻지 못하는 추가 정보를 받고, 학생은 교사가 제공하는 피드백으로부터 학습합니다. 그러나 교사는 여전히 학생이 따라갈 방법이 없는 방식의 지름길을 사용할 수 있습니다.
우리가 제안하는 접근법인 JOLT는 교사 역시 학습시켜, 자신의 시도에 대한 보상으로부터 배우면서 학생 모델이 수행했을 결과에서 크게 벗어나는 드리프트는 페널티를 부과합니다. JOLT+는 교사 감독 신호에 더해 학생 모델에게 결과 기반 보상을 제공함으로써 JOLT를 한층 보강합니다.
MATH 벤치마크에서 JOLT는 GRPO와 동등한 성능을 6.5배 적은 학습 토큰으로 달성했으며, JOLT+는 수학, 코딩, 터미널 작업, 도구 사용 벤치마크 전반에서 GRPO를 확실하게 앞섰습니다.