Perplexity, avec l'équipe de NVIDIA, a présenté JOLT, une nouvelle méthode de post-entraînement pour les modèles de langage. JOLT signifie Joint On-policy Learning and Teaching. Elle entraîne un seul modèle dans 2 rôles. L'enseignant voit des informations privilégiées ; l'étudiant non. Le changement clé est que l'enseignant est également entraîné, de sorte que son retour reste exploitable. Sur MATH, JOLT a égalé la précision de GRPO avec 6.5 fois moins de tokens d'entraînement traités. Pour les équipes qui exécutent un post-entraînement par RL, c'est une question directe de calcul.
TL;DR
- Ce que c'est : une méthode de post-entraînement.
- Taille : testée sur Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct et DeepSeek-V2-Lite.
- Fonctionne sur : 1 modèle partagé joue les deux rôles, donc pas de modèle enseignant séparé. Matériel d'entraînement : non divulgué.
- Performance : JOLT+ affiche le score moyen le plus élevé dans chaque contexte testé contre GRPO, OPSD et π-Distill.
- Meilleur : taux de réussite au test d'état AppWorld de 72.09% avec JOLT+, contre 62.20% pour GRPO (+9.9 points).
- Pire : JOLT sans récompense d'étudiant obtient 51.92% sur AppWorld, en dessous de GRPO.
Qu'est-ce que Perplexity JOLT ?
JOLT est une méthode d'auto-distillation de Perplexity et NVIDIA qui entraîne un seul modèle comme enseignant et comme étudiant. Elle s'appuie sur On-Policy Self-Distillation (OPSD).
Pourquoi le post-entraînement par RL a-t-il besoin d'un meilleur enseignant ?
Le RL à récompense de résultat, tel que GRPO, donne une récompense par tentative. Ce signal est épars. Il ne dit pas quels tokens ont aidé. Sur de longues tâches agentiques, les succès sont rares, donc l'apprentissage est lent.
La distillation on-policy corrige la parcimonie en faisant évaluer chaque token de l'étudiant par un enseignant plus fort. OPSD supprime l'enseignant séparé. Le même modèle devient l'enseignant lorsqu'on lui fournit un contexte privilégié, comme une solution vérifiée.
L'équipe de recherche soutient que ce n'est pas suffisant. Un enseignant qui détient la réponse peut emprunter des raccourcis que l'étudiant ne peut pas suivre. Ses conseils peuvent se situer au-delà de la portée de l'étudiant. Dans l'article, le désaccord enseignant-étudiant d'OPSD augmente pendant l'entraînement sur MATH.
Comment fonctionne JOLT ?
JOLT entraîne les deux rôles d'un même modèle partagé en même temps :
- Teacher : reçoit une information privilégiée. Il apprend à partir des récompenses de résultat, plus une pénalité KL qui le maintient proche de l'étudiant.
- Student : ne voit que la tâche. Il apprend à partir du signal de distillation au niveau des tokens du teacher sur ses propres tentatives.
- On-policy : chaque rôle apprend à partir de trajectoires générées sous son propre contexte.
- JOLT+ : ajoute la récompense de résultat propre de l'étudiant à la mise à jour de l'étudiant.
La recherche se concentre au centre sur un teacher « reward-consistent ». Sa mise à jour de distillation doit pointer dans la même direction que le gradient de récompense de l'étudiant. Le teacher idéal favorise les actions à fort avantage tout en restant proche de la politique de l'étudiant.
Comment JOLT se comporte-t-il sur les benchmarks ?
L'équipe de recherche a testé 5 configurations, chacune avec un modèle de base différent et un type d'information privilégiée différent :
- GSM8K : DeepSeek-V2-Lite ; le teacher obtient la réponse vérifiée.
- MATH : Qwen3-0.6B ; le teacher obtient des solutions de référence détaillées.
- LiveCodeBench v6 : Qwen3-8B sur 131 problèmes ; le teacher obtient une solution sœur validée ou un retour d'exécution.
- AppWorld : Qwen3-4B-Instruct ; le teacher obtient des résumés des tentatives passées.
- Terminal-Bench 2.1 : Qwen3-30B-A3B-Instruct entraîné sur TMax; le teacher obtient des fichiers privés de vérification.
JOLT+ a obtenu le score moyen le plus élevé dans chaque configuration. Contre GRPO, la ligne de base la plus solide, il a gagné 1.5 points sur GSM8K. Il a également gagné 4.2 sur MATH, 3.0 sur LCBv6 et 9.9 sur AppWorld. Sur Terminal-Bench 2.1, JOLT+ a atteint 10.96% de pass@1 et 34.83% de pass@32. GRPO a obtenu 8.25% et 30.34%.
Même le JOLT simple, sans récompense pour l'étudiant, a surpassé GRPO sur MATH : 72,14 % contre 68,36 %.
Quelle quantité de calcul d'entraînement JOLT permet-elle d'économiser ?
Sur MATH, l'équipe de recherche a ajusté des courbes de précision en fonction des budgets de tokens d'entraînement. À 63,44 % de précision, le checkpoint de GRPO avait utilisé 8,40M de tokens d'entraînement traités. La courbe ajustée de JOLT n'en nécessitait que 1,30M, soit une réduction d'un facteur 6,5x. En ne comptant que les tokens de complétion, l'écart atteint environ 13x. Pour des cibles de précision de 55 % à 65 %, les économies vont de 4,3x à 7,4x sur les tokens traités.
JOLT atteint également un palier plus élevé. Elle plafonne près de 72 %, contre environ 70 % pour GRPO et 62 % pour OPSD.
Comment JOLT se compare-t-elle à GRPO, OPSD et π-Distill ?
Tous les scores ci-dessous proviennent des propres exécutions de Perplexity dans le papier JOLT, avec des hyperparamètres ajustés pour chaque méthode. Les descriptions des méthodes renvoient au papier de chaque méthode.
| Caractéristique | JOLT | JOLT+ | GRPO | OPSD | π-Distill |
|---|---|---|---|---|---|
| Modèle enseignant séparé | Non | Non | Pas d'enseignant | Non (auto-enseignant) | Non (modèle partagé) |
| L'enseignant est entraîné | Oui (récompense + KL vers l'étudiant) | Oui (récompense + KL vers l'étudiant) | Sans objet | Non | Oui (régularisé par KL) |
| Signal pour l'étudiant | Distillation dense, on-policy | Distillation + récompense de résultat | Récompense de résultat relative au groupe | Distillation dense, on-policy | Off-policy, trajectoires de l'enseignant |
| MATH, Qwen3-0.6B (%) | 72.14 ± 0.90 | 72.59 ± 1.17 | 68.36 ± 3.73 | 61.20 ± 2.10 | 42.25 ± 1.10 |
| LCBv6, Qwen3-8B (%) | 47.64 ± 1.10 | 49.08 ± 0.41 | 46.13 ± 1.83 | 45.34 ± 1.50 | 38.23 ± 1.72 |
| AppWorld, Qwen3-4B (%) | 51.92 ± 5.30 | 72.09 ± 6.01 | 62.20 ± 2.83 | 29.49 ± 2.48 | 59.85 ± 2.97 |
| Terminal-Bench 2.1 pass@1 (%) | 6.56 | 10.96 | 8.25 | 2.82 | 4.99 |
| Terminal-Bench 2.1 pass@32 (%) | 25.69 | 34.83 | 30.34 | 16.90 | 22.31 |
| Code | Pas encore publié | Pas encore publié | Non divulgué | GitHub | Non divulgué |
Modèle de base Terminal-Bench : 5.18% pass@1, 22.81% pass@32.
Points clés à retenir
- 1 modèle joue à la fois le rôle d'enseignant et d'étudiant, et l'enseignant est aussi entraîné.
- 6.5x moins de tokens traités que GRPO à précision MATH équivalente.
- JOLT+ surpasse GRPO de 9.9 points sur AppWorld.
- JOLT seul reste encore derrière GRPO sur AppWorld et Terminal-Bench.
Découvrez l' article sur arXiv ainsi que le billet de blog de recherche de Perplexity. Tout le crédit revient au chercheur de ce projet. Par ailleurs, n'hésitez pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre SubReddit ML de 150k+ et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur Telegram ? vous pouvez désormais nous rejoindre sur Telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinaire, etc. ? Contactez-nous
L'article Des chercheurs de Perplexity et NVIDIA présentent JOLT : une méthode d'apprentissage par renforcement conjoint enseignant-étudiant est apparu en premier sur MarkTechPost.