Compartimos nueva investigación de post-entrenamiento sobre autodestilación + RL (JOLT), realizada junto con @NVIDIAAI.
En la autodestilación, el mismo modelo desempeña el papel de profesor y de estudiante. El profesor recibe información adicional que el estudiante no tiene, y el estudiante aprende a partir de la retroalimentación proporcionada por el profesor. Sin embargo, el profesor aún podría usar atajos de maneras que el estudiante no tiene forma de seguir.
Nuestro enfoque propuesto, JOLT, también entrena al profesor, para que aprenda de las recompensas de sus propios intentos, mientras penaliza cualquier desviación que esté lejos de lo que haría el modelo estudiante. JOLT+ complementa además a JOLT al proporcionar al modelo estudiante recompensas basadas en resultados además de las señales de supervisión del profesor.
En el benchmark MATH, descubrimos que JOLT iguala a GRPO con 6.5 veces menos tokens de entrenamiento, mientras que JOLT+ supera de manera convincente a GRPO en benchmarks de matemáticas, programación, tareas de terminal y uso de herramientas.