Partage de nouvelles recherches sur le post-entraînement concernant l'auto-distillation + RL (JOLT), réalisées avec @NVIDIAAI.
Dans l'auto-distillation, un même modèle joue à la fois le rôle d'enseignant et d'élève. L'enseignant reçoit des informations supplémentaires que l'élève n'a pas, et l'élève apprend à partir des retours fournis par l'enseignant. Cependant, l'enseignant pourrait encore utiliser des raccourcis de manières que l'élève n'a aucun moyen de suivre.
Notre approche proposée, JOLT, entraîne également l'enseignant, afin qu'il apprenne à partir des récompenses de ses propres tentatives, tout en pénalisant tout écart trop distant de ce que ferait le modèle élève. JOLT+ complète en outre JOLT en fournissant au modèle élève des récompenses basées sur les résultats en plus des signaux de supervision de l'enseignant.
Sur le benchmark MATH, nous avons constaté que JOLT égale GRPO avec 6.5 fois moins de tokens d'entraînement, tandis que JOLT+ bat de manière convaincante GRPO sur les benchmarks de mathématiques, de programmation, de tâches terminal et d'utilisation d'outils.