@NVIDIAAI と共同で行った、自己蒸留 + RL(JOLT)に関する新しいポストトレーニング研究を共有します。

自己蒸留では、同じモデルが教師と生徒の両方の役割を担います。教師は生徒には与えられていない追加情報を受け取り、生徒は教師から提供されるフィードバックから学習します。しかし、教師は生徒には到底真似できない方法で近道を使ってしまう可能性があります。

私たちが提案する手法 JOLT は、教師も訓練し、自身の試行に対する報酬から学習させると同時に、生徒モデルが取るであろう行動から大きく外れたドリフトにはペナルティを課します。さらに JOLT+ は、教師からの教師あり信号に加えて生徒モデルに結果ベースの報酬を与えることで JOLT を補強します。

MATH ベンチマークでは、JOLT が GRPO と同等の性能を 6.5 分の 1 の学習トークン数で達成し、JOLT+ は数学、コーディング、ターミナルタスク、ツール使用の各ベンチマークで GRPO を明確に上回ることを確認しました。