Perplexity与 NVIDIA 团队一起推出了 JOLT，这是一种新的语言模型后训练方法。JOLT 代表 Joint On-policy Learning and Teaching。它以 2 种角色训练单一模型。教师可以看到特权信息；学生则不能。关键变化是教师也接受训练，因此其反馈始终保持可用。在 MATH 上，JOLT 以少 6.5 倍的已处理训练 token 数量达到了与 GRPO 相同的准确率。对于运行强化学习后训练的团队来说，这是一个直接的计算成本问题。
TL;DR
- 它是什么： 一种后训练方法。
- 规模： 在 Qwen3-0.6B、Qwen3-4B-Instruct、Qwen3-8B、Qwen3-30B-A3B-Instruct 和 DeepSeek-V2-Lite 上进行了测试。
- 运行方式： 1 个共享模型同时扮演两个角色，因此无需单独的教师模型。训练硬件：未披露。
- 性能： 在与 GRPO、OPSD 和 π-Distill 对比的所有测试设置中，JOLT+ 均获得最高平均分。
- 最佳： 使用 JOLT+ 在 AppWorld 状态测试通过率为 72.09%，而 GRPO 为 62.20%（+9.9 分）。
- 最差： 没有学生奖励的 JOLT 在 AppWorld 上得分为 51.92%，低于 GRPO。
什么是 Perplexity JOLT？
JOLT 是 Perplexity 和 NVIDIA 提出的一种自蒸馏方法，它训练一个模型同时作为教师和学生。它建立在 On-Policy Self-Distillation (OPSD).
为什么强化学习后训练需要更好的教师？
结果奖励强化学习（如 GRPO）每次尝试只给出一个奖励。这种信号是稀疏的。它没有说明哪些 token 起了作用。在较长的智能体任务中，成功很少见，因此学习很慢。
On-Policy Distillation 通过让更强的教师为学生的每个 token 打分来解决稀疏性问题。OPSD 去掉了单独的教师。当给定特权上下文（例如已验证的解答）时，同一模型就成为教师。
研究团队认为这还不够。掌握答案的教师可能会走学生无法跟随的捷径。它的指导可能超出了学生的能力范围。论文显示，在 MATH 训练期间，OPSD 的师生分歧会不断增大。
JOLT 是如何工作的？
JOLT 同时训练一个共享模型的两种角色：
- Teacher(教师)： 可获得特权信息。它从结果奖励中学习，外加一个使其保持接近学生的 KL 惩罚。
- Student(学生)： 只看到任务本身。它从教师在其自身尝试上的 token 级蒸馏信号中学习。
- On-policy(同策略)： 每个角色都从在其自身上下文下生成的轨迹中学习。
- JOLT+: 在学生更新中加入学生自身的结果奖励。
该研究的核心在于一个“奖励一致”的教师。其蒸馏更新应与学生奖励梯度指向相同的方向。理想的教师在保持接近学生策略的同时，倾向于高优势动作。
JOLT 在基准测试中表现如何？
研究团队测试了 5 种设置，每种设置使用不同的基础模型和特权信息类型：
- GSM8K: DeepSeek-V2-Lite; 教师获得经核验的答案。
- MATH: Qwen3-0.6B; 教师获得带解题步骤的参考解答。
- LiveCodeBench v6: Qwen3-8B，共 131 道题；教师获得一个通过的同类解答或执行反馈。
- AppWorld: Qwen3-4B-Instruct; 教师获得过往尝试的摘要。
- Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct 经训练于 TMax上训练的 Qwen3-30B-A3B-Instruct；教师获得私有的验证器文件。
JOLT+ 在所有设置中均取得最高平均分。与最强基线 GRPO 相比，它在 GSM8K 上提升了 1.5 分，在 MATH 上提升了 4.2 分，在 LCBv6 上提升了 3.0 分，在 AppWorld 上提升了 9.9 分。在 Terminal-Bench 2.1上，JOLT+ 达到了 10.96% 的 pass@1 和 34.83% 的 pass@32。GRPO 得分为 8.25% 和 30.34%。
即使是不含学生奖励的纯 JOLT,在 MATH 上也胜过了 GRPO:72.14% 对 68.36%。
JOLT 能节省多少训练算力?
在 MATH 上,研究团队将准确率曲线与训练 token 预算进行拟合。在 63.44% 准确率下,GRPO 的检查点使用了 8.40M 个已处理的训练 token。JOLT 的拟合曲线只需要 1.30M,减少了 6.5 倍。若只计算补全 token,差距扩大到约 13 倍。在 55% 到 65% 的准确率目标范围内,按已处理 token 计算的节省幅度在 4.3 倍到 7.4 倍之间。
JOLT 的收敛水平也更高。它在接近 72% 处趋于平稳,而 GRPO 约为 70%,OPSD 为 62%。
JOLT 与 GRPO、OPSD 和 π-Distill 相比如何?
以下所有分数均来自 Perplexity 在 JOLT 论文中的自行运行结果,每种方法的超参数均经过单独调优。方法描述链接到各方法自己的论文。
| 特性 | JOLT | JOLT+ | GRPO | OPSD | π-Distill |
|---|---|---|---|---|---|
| 独立的教师模型 | 无 | 无 | 无教师 | 无(自我教师) | 无(共享模型) |
| 教师被训练 | 是(奖励 + 对学生的 KL) | 是(奖励 + 对学生的 KL) | 不适用 | 否 | 是(KL 正则化) |
| 学生信号 | 密集蒸馏,on-policy | 蒸馏 + 结果奖励 | 组相对结果奖励 | 密集蒸馏,on-policy | off-policy,教师轨迹 |
| MATH，Qwen3-0.6B (%) | 72.14 ± 0.90 | 72.59 ± 1.17 | 68.36 ± 3.73 | 61.20 ± 2.10 | 42.25 ± 1.10 |
| LCBv6，Qwen3-8B (%) | 47.64 ± 1.10 | 49.08 ± 0.41 | 46.13 ± 1.83 | 45.34 ± 1.50 | 38.23 ± 1.72 |
| AppWorld，Qwen3-4B（%） | 51.92 ± 5.30 | 72.09 ± 6.01 | 62.20 ± 2.83 | 29.49 ± 2.48 | 59.85 ± 2.97 |
| Terminal-Bench 2.1 pass@1（%） | 6.56 | 10.96 | 8.25 | 2.82 | 4.99 |
| Terminal-Bench 2.1 pass@32（%） | 25.69 | 34.83 | 30.34 | 16.90 | 22.31 |
| 代码 | 尚未发布 | 尚未发布 | 未披露 | GitHub | 未披露 |
Terminal-Bench 基础模型：5.18% pass@1，22.81% pass@32。
核心要点
- 1 个模型同时担任教师和学生，且教师也会被训练。
- 在相同 MATH 准确率下，处理 token 数量比 GRPO 少 6.5 倍。
- JOLT+ 在 AppWorld 上比 GRPO 高出 9.9 分。
- 原生 JOLT 在 AppWorld 和 Terminal-Bench 上仍落后于 GRPO。
请查看 arXiv 上的论文 以及 Perplexity 研究博客文章。所有功劳归于该项目的科研人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的 Newsletter。等等！你在用 telegram 吗？ 现在你也可以在 telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等吗？ 与我们联系
本文 Perplexity 与 NVIDIA 研究人员推出 JOLT：一种师生联合强化学习方法 首发于 MarkTechPost.