JOLT 师生同模训练：MATH 72.14%，训练 token 省 6.5 倍

一句话结论：JOLT 用同一个模型同时扮演拿答案的教师和只看题目的学生，教师端被结果奖励与面向学生的 KL 惩罚共同训练，学生端吃教师在自己轨迹上给出的 token 级信号，从而在 MATH 基准上用少 6.5 倍的处理训练 token 追平 GRPO，JOLT+ 反而更胜一筹。

Reinforcement Learning 后训练正在成为推理模型的成本主战场。GRPO 这类只依赖最终结果奖励的方法信号稀疏，一道题成功与否不告诉模型是哪几个 token 起的作用；在轨迹长的智能体任务里，成功样本又极其罕见，采样预算很容易被吃掉。Perplexity 与英伟达的研究者这次把问题挪到了另一个角度：如果教师手里握着学生看不到的特权信息，它给出的指导未必对得起这个特权。

论文的三位作者分别来自 Perplexity 与英伟达，编号 arXiv 2610.10447，2026 年 10 月 7 日提交，10 月 22 日经由 MarkTechPost 等渠道披露后迅速成为技术圈的热门话题。它吸引人的地方在于给出了一条可验证的因果链：从观察到的师生分歧扩大，到推导出的充要条件，再到对应的训练目标设计，每一步都能对上。

教师拿着答案，照样可能把学生带偏

论文给出的诊断很具体。在自蒸馏（On-Policy Self-Distillation，简称 OPSD）的框架里，同一个策略在拿到特权上下文时充当教师，在只看到题目时充当学生。特权上下文可以是已验证的答案、完整的参考解法，或者一次通过的兄弟解法。研究者观察到，在 MATH 训练过程中，OPSD 的师生分歧不降反升。教师拿着答案时很容易走捷径，而学生根本复制不了这条捷径，于是教师信号与学生当前能力错配，越训越偏。

更反直觉的一点在于，更强的教师给出的指导可能让学生的表现变差。教师指标更高，并不代表它给学生的监督方向与学生的奖励梯度一致。作者由此推导出一条充要条件：教师的局部蒸馏更新方向，必须是学生奖励梯度的正倍数。满足这个条件，意味着教师的指导恰好落在能推动学生变好的方向上。这条推导把「教师要更强」这个直觉换成了「教师要更贴合学生当前水平」这个可量化的约束。

为了让这条条件落地，JOLT 把教师也放进了训练回路。教师端的损失由两部分构成，一部分来自结果奖励，另一部分是面向学生的 token 级 KL 正则。后者的作用是把教师拴在学生附近，不让特权信息把教师推得太远。JOLT+ 在此基础上再把学生自己的结果奖励加进学生更新。这套设计把原来需要单独维护的教师模型换成了同一个权重的两种调用方式，教师不会随着学生进步而过期，训练链路里也不必再多挂一个大模型。

五个场景用的底座和特权信息各不相同

实验覆盖五个场景，每个场景用不同的底座模型与不同的特权信息类型，作者的意图很明确：验证这套方法在数学、代码、工具调用、终端操作四类任务上是否都成立，而不只是刷通一个数学基准。

底座从 0.6B 一直排到 30B-A3B，其中 30B-A3B 走的是激活参数更少的 MoE 结构，在 TMax 上完成训练。特权信息的形式差异值得留意：数学题给答案，代码题给能跑的兄弟解法，工具调用给历次尝试的摘要，终端任务给私有验证器文件。特权信息的载体变了，方法的收益却没有塌掉，这是比单一基准更高一层的证据。

五个基准的完整对照

对照组是 GRPO、OPSD 与 pi-Distill。三者覆盖了结果奖励路线、自蒸馏路线与纯分布蒸馏路线，JOLT 要赢，得同时压住这三条线。

这张表里有两个容易被忽略的细节。JOLT 在 MATH 上以 72.14% 稳压 GRPO 的 68.36%，标准差 0.90 也明显小于 GRPO 的 3.73，说明这 3.78 个百分点并非偶然波动；而在 AppWorld 上，不加学生奖励的纯 JOLT 只有 51.92%，低于 GRPO 的 62.20%，JOLT+ 才把分数拉到 72.09%，领先 9.9 个百分点。纯 JOLT 靠的是效率，JOLT+ 才拿到绝对分数优势。纯蒸馏路径在需要与环境交互的任务上会失灵，这一点作者没有掩饰。

OPSD 在 AppWorld 上只有 29.49%，比 pi-Distill 的 59.85% 还低一大截，这一列把「特权信息带偏教师」的判断摆到了台面上。当任务需要多轮操作才能拿到结果奖励时，教师走捷径的代价被放大，学生跟着走偏的连锁反应也跟着放大。

终端操作任务：pass@k 的四个数

Terminal-Bench 2.1 考察的是长时间输出的终端操作序列，采样带来的收益会随输出长度放大，因此这里用 pass@k 衡量，比单次通过率更合适。

JOLT+ 的 pass@1 从 GRPO 的 8.25% 抬到 10.96%，pass@32 从 30.34% 抬到 34.83%，而在长序列任务上，JOLT 单版本只有 6.56%，甚至低于 GRPO。采样越多、优势越明显的场景里，方法之间的差距反而被压缩，这个现象与短程推理任务上的表现形成对照。Terminal-Bench 的 pass@32 提升 4.5 个百分点，是这套方法在真实智能体场景里最扎实的一块证据。

6.5 倍 token 节省是怎么算出来的

作者把每个 checkpoint 的准确率与训练 token 预算拟合曲线，再固定在 63.44% 这个准确率上做横向比较。结果是 GRPO 的对应 checkpoint 消耗 840 万处理训练 token，JOLT 的拟合曲线只需 130 万，压缩到六分之一。如果只统计补全 token，差距扩大到 13 倍。

单位为百万 token。目标准确率越高，节省倍数越大，从 4.3 倍拉到 7.4 倍，这说明随着 GRPO 越往高处走，采样成本上升得越快，而 JOLT 的曲线平缓得多。论文给出的胜率统计里，JOLT+ 相对 GRPO 的改进概率在 LCBv6 与 AppWorld 上都是 100%，MATH 是 88.9%，GSM8K 是 90.0%，四项等权平均 94.7%。

这类节省最终会落到账上。国内厂商把训练成本压到原值九分之一的路径，在 Qwen3.8-Flash-Next 的架构改造里有另一种解法；而推理侧的降本则由 DeepSeek 开源的 DeepInfer 推理框架这类工具承担。JOLT 补的是后训练这一段，而且恰好是开销占比正在上升的一段。

消融实验：哪一块真正在起作用

作者对教师端的目标函数做了拆解，用同一套 MATH 设置比较几种组合的留出集准确率。这一组数字直接回答了收益从哪来。

只加学生奖励的 OPSD 能从 62.95% 走到 66.52%，只加教师 KL 的 JOLT 走到 65.39%，只让教师吃结果奖励走到 67.87%，两项合起来才跳到 72.10%。这组对照把「特权信息本身没用、关键是让教师保持在学生附近」这个判断坐实了。KL 系数从 1e-6 提到 1e-3 是这条曲线里最关键的一个旋钮，跨过某个量级之后收益才明显释放。

论文还给出一组 token 计数器的对照表来解释节省的机制：按完成量统计，GRPO 停在 70.044% 的渐近水平而 JOLT 走到 72.123%，两者在曲线拟合里的中点常数 B50 分别是 4.173 与 0.440，相差近十倍。换句话说，GRPO 想要更高的准确率就得不断加大采样规模，而 JOLT 的边际成本低得多。

适用边界与代价

值得留意的几处限制。训练硬件配置没有公开，代码也标注为尚未发布，外部团队目前无法直接复现这条曲线。超参搜索的成本也不低，MATH 场景作者考察了 42 组配置，LCBv6 考察 18 组，覆盖学习率、教师 KL 系数、教师混合权重与调度方式。这意味着 JOLT 省下的训练 token，有一部分会被转移到超参搜索上，规模越小、收益越容易被吃掉。

更根本的是，这套方法目前只在 Qwen3 与 DeepSeek-V2-Lite 系列上验证过。0.6B 到 30B-A3B 的区间能覆盖不少实验型后训练场景，但把它外推到百亿到千亿参数的主力模型上还缺乏证据。这类外推的困难在蒸馏研究里一向存在，方法在小模型上成立并不会自动意味着在大模型上成立。

还有一处细节需要单独点出来：所有对比都在单次训练运行的条件下完成，没有多随机种子的重复验证。作者用 3 到 5 次独立运行统计了改进概率，这缓解了单次运行的偶然性，但概率统计与稳定复现之间仍有距离，尤其是那些标准差较大的场景。

把 JOLT 放进更大的图景，它与近期其他降低后训练成本的方向属于同一类关切。StartLux 用 RLCD² 方法论拿下 Hugging Face 决策模型榜首，走的是奖励设计与采样效率的路线；谷歌开源的 Harness² 框架则让模型在推理阶段自我修补权重无关的能力。共同前提是承认一件事：推理能力的提升越来越贵，能省下采样与蒸馏开销的方法具备直接的商业价值。DeepSeek V4.1 Flash 把 KV Cache 缩小 437 倍的做法属于另一条降本路径，那篇深度解读里算过一笔账。

常见问题 FAQ

JOLT 是什么，和 GRPO 的区别在哪

JOLT 是 Perplexity 与英伟达提出的后训练方法，全称 Joint On-policy Learning and Teaching。它让同一个模型同时扮演教师和学生：教师看到特权信息，学生只看题目，两端一起训练。GRPO 只依赖最终结果奖励，属于单一角色的稀疏监督路线。核心差异在于教师端也被训练，并被面向学生的 KL 惩罚拴住。

6.5 倍的 token 节省是相对谁算的

相对 GRPO，在 MATH 基准 63.44% 准确率这一固定点上计算。GRPO 的对应 checkpoint 消耗 840 万处理训练 token，JOLT 的拟合曲线需要 130 万，压缩到 6.5 倍；只统计补全 token 时差距约 13 倍。跨 55% 到 65% 的目标区间，处理 token 的节省幅度落在 4.3 倍到 7.4 倍之间。

现在能自己跑一遍 JOLT 吗

暂时不能直接跑。论文标注代码尚未发布，训练硬件配置也没有公开。方法本身依赖教师与学生的交叉打分，需要同时维护同一策略的两套上下文路径，实验复现的门槛明显高于常规 GRPO 微调。JOLT+ 相对 GRPO 的整体改进概率在四个基准上等权平均为 94.7%，第三方复现结果出来之前，这个数字更适合当作方向性信号。

小结

JOLT 最有价值的部分不在某个跑分，而在它把一个含糊的经验判断变成了可操作的训练约束：教师必须被训练，并且必须被限制在学生附近。MATH 上 72.14% 对 68.36%，AppWorld 上 JOLT+ 领先 9.9 个百分点，Terminal-Bench pass@32 抬升 4.5 个百分点，训练 token 压缩到六分之一，这几组数字共同指向同一个结论：对资源紧张的团队，JOLT 提供了一条把算力花在高价值信号上的路径。局限同样清楚，代码未开源、超参搜索成本不低、验证只覆盖小尺寸模型、单次训练运行。它的价值值得持续跟踪，明天就改进生产管线还太早。

相关阅读

• StartLux 凭什么 69.1 分霸榜 Hugging Face：原创 RLCD² 方法论深度解析
• Qwen3.8-Flash-Next深度解读：125B MoE训练成本砍到1/9
• DeepSeek V4.1 Flash：552B MoE、KV 缓存缩 437 倍
• DeepSeek 开源推理框架 DeepInfer：GPU 占用减 35%、成本降 28%
• 谷歌开源Harness²：不用改权重让AI自我修补，GLM-5实测涨11.5分的原理拆解