Wir teilen neue Forschung zum Post-Training über Selbst-Destillation + RL (JOLT), die gemeinsam mit @NVIDIAAI entstanden ist.
Bei der Selbst-Destillation übernimmt dasselbe Modell sowohl die Rolle eines Lehrers als auch die eines Schülers. Der Lehrer erhält zusätzliche Informationen, die der Schüler nicht hat, und der Schüler lernt aus dem Feedback, das der Lehrer liefert. Der Lehrer könnte jedoch weiterhin Abkürzungen nutzen, denen der Schüler in keiner Weise folgen kann.
Unser vorgeschlagener Ansatz, JOLT, trainiert auch den Lehrer, sodass dieser aus Belohnungen für seine eigenen Versuche lernt, während jede Abweichung bestraft wird, die weit von dem entfernt ist, was das Schülermodell tun würde. JOLT+ ergänzt JOLT zusätzlich, indem es dem Schülermodell ergebnisbasierte Belohnungen zusätzlich zu den Supervisionssignalen des Lehrers bereitstellt.
Auf dem MATH-Benchmark fanden wir heraus, dass JOLT mit 6.5x weniger Trainings-Tokens an GRPO heranreicht, während JOLT+ GRPO bei Mathematik, Programmierung, Terminal-Aufgaben und Tool-Use-Benchmarks überzeugend schlägt.