Perplexity, junto con el equipo de NVIDIA, ha presentado JOLT, un nuevo método de post-entrenamiento para modelos de lenguaje. JOLT significa Joint On-policy Learning and Teaching. Entrena un único modelo en 2 roles. El profesor ve información privilegiada; el alumno no. El cambio clave es que el profesor también se entrena, de modo que su retroalimentación sigue siendo utilizable. En MATH, JOLT igualó la precisión de GRPO con 6.5 veces menos tokens de entrenamiento procesados. Para los equipos que ejecutan post-entrenamiento con RL, esa es una cuestión directa de cómputo.
TL;DR
- Qué es: un método de post-entrenamiento.
- Tamaño: probado en Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct y DeepSeek-V2-Lite.
- Funciona con: 1 modelo compartido desempeña ambos roles, por lo que no hay un modelo profesor separado. Hardware de entrenamiento: no divulgado.
- Rendimiento: JOLT+ logra la puntuación media más alta en todas las configuraciones probadas contra GRPO, OPSD y π-Distill.
- Mejor: tasa de aprobación en state-test de AppWorld de 72.09% con JOLT+, frente a 62.20% de GRPO (+9.9 puntos).
- Peor: JOLT sin recompensa de alumno obtiene 51.92% en AppWorld, por debajo de GRPO.
¿Qué es Perplexity JOLT?
JOLT es un método de autodestilación de Perplexity y NVIDIA que entrena un solo modelo como profesor y alumno. Se basa en On-Policy Self-Distillation (OPSD).
¿Por qué el post-entrenamiento con RL necesita un mejor profesor?
El RL con recompensa por resultado, como GRPO, da una recompensa por intento. Esa señal es dispersa. No indica qué tokens ayudaron. En tareas agénticas largas, los éxitos son raros, por lo que el aprendizaje es lento.
On-Policy Distillation corrige la dispersión haciendo que un profesor más fuerte puntúe cada token del alumno. OPSD elimina el profesor separado. El mismo modelo se convierte en profesor cuando recibe contexto privilegiado, como una solución verificada.
El equipo de investigación argumenta que esto no basta. Un profesor que tiene la respuesta puede tomar atajos que el alumno no puede seguir. Su orientación puede quedar fuera del alcance del alumno. En el artículo, la discrepancia profesor-alumno de OPSD crece durante el entrenamiento en MATH.
¿Cómo funciona JOLT?
JOLT entrena ambos roles de un solo modelo compartido al mismo tiempo:
- Profesor: recibe información privilegiada. Aprende de recompensas de resultado, además de una penalización KL que lo mantiene cerca del estudiante.
- Estudiante: solo ve la tarea. Aprende de la señal de destilación a nivel de tokens del profesor sobre sus propios intentos.
- On-policy: cada rol aprende de trayectorias generadas bajo su propio contexto.
- JOLT+: añade la recompensa de resultado del propio estudiante a la actualización del estudiante.
La investigación se centra en un profesor «consistente con la recompensa». Su actualización de destilación debe apuntar en la misma dirección que el gradiente de recompensa del estudiante. El profesor ideal favorece acciones de alta ventaja manteniéndose cerca de la política del estudiante.
¿Cómo se desempeña JOLT en los benchmarks?
El equipo de investigación probó 5 configuraciones, cada una con un modelo base diferente y un tipo de información privilegiada:
- GSM8K: DeepSeek-V2-Lite; el profesor recibe la respuesta verificada.
- MATH: Qwen3-0.6B; el profesor recibe soluciones de referencia desarrolladas paso a paso.
- LiveCodeBench v6: Qwen3-8B en 131 problemas; el profesor recibe una solución hermana aprobada o retroalimentación de ejecución.
- AppWorld: Qwen3-4B-Instruct; el profesor recibe resúmenes de intentos previos.
- Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct entrenado en TMax; el profesor recibe archivos privados del verificador.
JOLT+ obtuvo la puntuación media más alta en todas las configuraciones. Frente a GRPO, la línea base más fuerte, ganó 1.5 puntos en GSM8K. También ganó 4.2 en MATH, 3.0 en LCBv6 y 9.9 en AppWorld. En Terminal-Bench 2.1, JOLT+ alcanzó 10.96% de pass@1 y 34.83% de pass@32. GRPO obtuvo 8.25% y 30.34%.
Incluso JOLT en su forma básica, sin recompensa para el estudiante, superó a GRPO en MATH: 72.14% frente a 68.36%.
¿Cuánto cómputo de entrenamiento ahorra JOLT?
En MATH, el equipo de investigación ajustó curvas de precisión frente a presupuestos de tokens de entrenamiento. Con una precisión de 63.44%, el checkpoint de GRPO utilizó 8.40M de tokens de entrenamiento procesados. La curva ajustada de JOLT necesitó 1.30M, una reducción de 6.5x. Contando solo los tokens de finalización, la brecha se amplía a unos 13x. En objetivos de precisión de entre 55% y 65%, los ahorros oscilan entre 4.3x y 7.4x en tokens procesados.
JOLT también se estabiliza en un nivel más alto. Alcanza una meseta cerca del 72%, frente a alrededor del 70% para GRPO y 62% para OPSD.
¿Cómo se compara JOLT con GRPO, OPSD y π-Distill?
Todas las puntuaciones siguientes provienen de las ejecuciones propias de Perplexity en el artículo de JOLT, con hiperparámetros ajustados por método. Las descripciones de los métodos enlazan al artículo propio de cada método.
| Característica | JOLT | JOLT+ | GRPO | OPSD | π-Distill |
|---|---|---|---|---|---|
| Modelo profesor separado | No | No | Sin profesor | No (auto-profesor) | No (modelo compartido) |
| El profesor es entrenado | Sí (recompensa + KL al estudiante) | Sí (recompensa + KL al estudiante) | No aplicable | No | Sí (regularizado por KL) |
| Señal para el estudiante | Destilación densa, on-policy | Destilación + recompensa de resultado | Recompensa de resultado relativa al grupo | Destilación densa, on-policy | Off-policy, trayectorias del profesor |
| MATH, Qwen3-0.6B (%) | 72.14 ± 0.90 | 72.59 ± 1.17 | 68.36 ± 3.73 | 61.20 ± 2.10 | 42.25 ± 1.10 |
| LCBv6, Qwen3-8B (%) | 47.64 ± 1.10 | 49.08 ± 0.41 | 46.13 ± 1.83 | 45.34 ± 1.50 | 38.23 ± 1.72 |
| AppWorld, Qwen3-4B (%) | 51.92 ± 5.30 | 72.09 ± 6.01 | 62.20 ± 2.83 | 29.49 ± 2.48 | 59.85 ± 2.97 |
| Terminal-Bench 2.1 pass@1 (%) | 6.56 | 10.96 | 8.25 | 2.82 | 4.99 |
| Terminal-Bench 2.1 pass@32 (%) | 25.69 | 34.83 | 30.34 | 16.90 | 22.31 |
| Código | Aún no lanzado | Aún no lanzado | No divulgado | GitHub | No divulgado |
Modelo base de Terminal-Bench: 5.18% pass@1, 22.81% pass@32.
Conclusiones clave
- 1 modelo actúa como profesor y estudiante, y el profesor también se entrena.
- 6.5x menos tokens procesados que GRPO con la misma precisión en MATH.
- JOLT+ supera a GRPO por 9.9 puntos en AppWorld.
- JOLT en su forma básica sigue por detrás de GRPO en AppWorld y Terminal-Bench.
Echa un vistazo al artículo en arXiv y a la entrada del blog de investigación de Perplexity. Todo el crédito va para el investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro 150k+ML SubReddit y suscribirte a nuestro boletín. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
¿Necesitas asociarte con nosotros para promocionar tu repositorio de GitHub O página de Hugging Face O lanzamiento de producto O webinar, etc.? Conéctate con nosotros
La entrada Investigadores de Perplexity y NVIDIA Presentan JOLT: un Método de Aprendizaje por Refuerzo Conjunto Profesor-Estudiante apareció primero en MarkTechPost.