Perplexityhat zusammen mit dem NVIDIA-Team JOLT vorgestellt, eine neue Post-Training-Methode für Sprachmodelle. JOLT steht für Joint On-policy Learning and Teaching. Es trainiert ein einzelnes Modell in 2 Rollen. Der Teacher sieht privilegierte Informationen; der Student nicht. Die wesentliche Änderung besteht darin, dass auch der Teacher trainiert wird, sodass sein Feedback nutzbar bleibt. Bei MATH erreichte JOLT die Genauigkeit von GRPO mit 6.5x weniger verarbeiteten Trainingstokens. Für Teams, die RL-Post-Training betreiben, ist das eine direkte Compute-Frage.
TL;DR
- Was es ist: eine Post-Training-Methode.
- Größe: getestet auf Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct und DeepSeek-V2-Lite.
- Läuft auf: 1 gemeinsames Modell spielt beide Rollen, daher kein separates Teacher-Modell. Trainingshardware: Nicht offengelegt.
- Leistung: JOLT+ erzielt den höchsten Mittelwert in jedem getesteten Setting im Vergleich zu GRPO, OPSD und π-Distill.
- Bestes Ergebnis: AppWorld State-Test-Passrate von 72.09% mit JOLT+, gegenüber 62.20% für GRPO (+9.9 Punkte).
- Schlechtestes Ergebnis: JOLT ohne Student-Reward erreicht 51.92% auf AppWorld, unter GRPO.
Was ist Perplexity JOLT?
JOLT ist eine Selbst-Destillationsmethode von Perplexity und NVIDIA, die ein Modell als Teacher und Student trainiert. Sie baut auf On-Policy Self-Distillation (OPSD).
Warum braucht RL-Post-Training einen besseren Teacher?
Outcome-Reward-RL wie GRPOgibt eine Belohnung pro Versuch. Dieses Signal ist spärlich. Es sagt nicht, welche Tokens geholfen haben. Bei langen agentischen Aufgaben sind Erfolge selten, daher ist das Lernen langsam.
On-Policy Distillation behebt die Spärlichkeit, indem ein stärkerer Teacher jedes Student-Token bewertet. OPSD entfernt den separaten Teacher. Dasselbe Modell wird zum Teacher, wenn ihm privilegierter Kontext gegeben wird, etwa eine verifizierte Lösung.
Das Forschungsteam argumentiert, dass dies nicht ausreicht. Ein Teacher, der die Antwort kennt, kann Abkürzungen nehmen, denen der Student nicht folgen kann. Seine Anleitung könnte außerhalb der Reichweite des Studenten liegen. In der Arbeit wächst die Teacher-Student-Diskrepanz von OPSD während des MATH-Trainings.
Wie funktioniert JOLT?
JOLT trainiert beide Rollen eines gemeinsamen Modells zur gleichen Zeit:
- Lehrer: erhält privilegierte Informationen. Es lernt aus Ergebnis-Belohnungen, plus einer KL-Strafe, die es nah am Schüler hält.
- Schüler: sieht nur die Aufgabe. Es lernt aus dem token-level Destillationssignal des Lehrers auf den eigenen Versuchen.
- On-policy: jede Rolle lernt aus Trajektorien, die unter ihrem eigenen Kontext erzeugt wurden.
- JOLT+: fügt die eigene Ergebnis-Belohnung des Schülers zum Schüler-Update hinzu.
Die Forschung steht im Zentrum auf einem „reward-consistent“ Lehrer. Sein Destillations-Update sollte in dieselbe Richtung zeigen wie der Belohnungsgradient des Schülers. Der ideale Lehrer bevorzugt Handlungen mit hohem Advantage, während er nahe an der Policy des Schülers bleibt.
Wie schneidet JOLT bei Benchmarks ab?
Das Forschungsteam testete 5 Einstellungen, jede mit einem anderen Basismodell und einer anderen Art privilegiierter Informationen:
- GSM8K: DeepSeek-V2-Lite; der Lehrer erhält die verifizierte Antwort.
- MATH: Qwen3-0.6B; der Lehrer erhält ausgearbeitete Referenzlösungen.
- LiveCodeBench v6: Qwen3-8B auf 131 Problemen; der Lehrer erhält eine bestehende Geschwisterlösung oder Ausführungs-Feedback.
- AppWorld: Qwen3-4B-Instruct; der Lehrer erhält Zusammenfassungen vergangener Versuche.
- Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct trainiert auf TMax; der Lehrer erhält private Verifier-Dateien.
JOLT+ erreichte in jeder Einstellung den höchsten Durchschnittswert. Gegenüber GRPO, der stärksten Baseline, gewann es 1.5 Punkte auf GSM8K. Es gewann außerdem 4.2 auf MATH, 3.0 auf LCBv6 und 9.9 auf AppWorld. Auf Terminal-Bench 2.1erreichte JOLT+ 10.96% pass@1 und 34.83% pass@32. GRPO erzielte 8.25% und 30.34%.
Schon pures JOLT ohne Student-Belohnung schlug GRPO bei MATH: 72.14% gegenüber 68.36%.
Wie viel Trainingsrechenleistung spart JOLT?
Bei MATH passte das Forschungsteam Genauigkeitskurven an Trainings-Token-Budgets an. Bei 63.44% Genauigkeit verwendete GRPOs Checkpoint 8.40M verarbeitete Trainings-Tokens. JOLTs angepasste Kurve benötigte 1.30M, eine Reduktion um den Faktor 6.5x. Zählt man nur Completion-Tokens, vergrößert sich die Lücke auf etwa 13x. Über Genauigkeitsziele von 55% bis 65% reichen die Einsparungen von 4.3x bis 7.4x bei verarbeiteten Tokens.
JOLT nivelliert sich zudem auf höherem Niveau. Es erreicht ein Plateau nahe 72%, gegenüber etwa 70% bei GRPO und 62% bei OPSD.
Wie schneidet JOLT im Vergleich zu GRPO, OPSD und π-Distill ab?
Alle folgenden Werte stammen aus Perplexitys eigenen Läufen im JOLT-Paper, wobei die Hyperparameter pro Methode abgestimmt wurden. Die Methodenbeschreibungen verlinken auf das jeweilige Paper der Methode.
| Merkmal | JOLT | JOLT+ | GRPO | OPSD | π-Distill |
|---|---|---|---|---|---|
| Separates Lehrer-Modell | Nein | Nein | Kein Lehrer | Nein (Selbst-Lehrer) | Nein (gemeinsames Modell) |
| Lehrer wird trainiert | Ja (Belohnung + KL zum Student) | Ja (Belohnung + KL zum Student) | Nicht anwendbar | Nein | Ja (KL-reguliert) |
| Signal für den Student | Dichte Destillation, on-policy | Destillation + Outcome-Belohnung | Gruppenrelativer Outcome-Belohnung | Dichte Destillation, on-policy | Off-policy, Lehrer-Trajektorien |
| MATH, Qwen3-0.6B (%) | 72.14 ± 0.90 | 72.59 ± 1.17 | 68.36 ± 3.73 | 61.20 ± 2.10 | 42.25 ± 1.10 |
| LCBv6, Qwen3-8B (%) | 47.64 ± 1.10 | 49.08 ± 0.41 | 46.13 ± 1.83 | 45.34 ± 1.50 | 38.23 ± 1.72 |
| AppWorld, Qwen3-4B (%) | 51.92 ± 5.30 | 72.09 ± 6.01 | 62.20 ± 2.83 | 29.49 ± 2.48 | 59.85 ± 2.97 |
| Terminal-Bench 2.1 pass@1 (%) | 6.56 | 10.96 | 8.25 | 2.82 | 4.99 |
| Terminal-Bench 2.1 pass@32 (%) | 25.69 | 34.83 | 30.34 | 16.90 | 22.31 |
| Code | Noch nicht veröffentlicht | Noch nicht veröffentlicht | Nicht offengelegt | GitHub | Nicht offengelegt |
Terminal-Bench Basismodell: 5.18% pass@1, 22.81% pass@32.
Wichtigste Erkenntnisse
- 1 Modell spielt Lehrer und Schüler, und auch der Lehrer wird trainiert.
- 6.5x weniger verarbeitete Tokens als GRPO bei gleicher MATH-Genauigkeit.
- JOLT+ schlägt GRPO um 9.9 Punkte auf AppWorld.
- Reines JOLT liegt auf AppWorld und Terminal-Bench weiterhin hinter GRPO zurück.
Schauen Sie sich das Paper auf arXiv und den Perplexity-Forschungsblogbeitragan. Alle Credits gehen an die Forscherin/den Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Müssen Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face Seite ODER Ihre Produkteinführung ODER Ihr Webinar etc. zu bewerben? Kontakt zu uns aufnehmen
Der Beitrag Perplexity und NVIDIA Forscher stellen JOLT vor: eine gemeinsame Lehrer-Schüler-Verstärkungslernmethode erschien zuerst auf MarkTechPost.