英伟达 JOLT 刷新 MATH 72.14%,训练 token 少 6.5 倍

10 月 22 日,Perplexity 与英伟达联合推出的师生强化学习框架 JOLT 公开论文,编号为 arXiv 2610.10447。核心思路是把强模型当作教师,把学生模型在一个问题上的多次尝试组织成更稳定的训练信号,从而在更少的训练 token 下达到更好的成绩。

MATH 上 72.14%,训练成本降到六分之一

在 MATH 基准上,JOLT 拿到 72.14%,JOLT+ 为 72.59%,与 GRPO 的 68.36% 处于同一水平。真正的差距在训练开销上,JOLT 用掉的训练 token 是 130 万,GRPO 是 840 万,少了 6.5 倍。对算力紧张的团队来说,这比单纯的分数提升更有意义。同样一道数学题,学生模型要尝试很多次,教师模型负责把失败的尝试组织成更有价值的信号,因此不必靠堆采样次数换分数。

AppWorld 场景领先近 10 个百分点

在需要与环境交互的 AppWorld 基准上,JOLT 得分 72.09%,对照组是 62.20%,差距达到 9.9 个百分点。这类任务考察的是多轮操作是否稳定,而不是单次答题的正确率,对应的正是智能体产品里最容易出问题的环节。在真实产品中,一次错误的工具调用就可能让整条任务链断掉,而这类基准把多步执行的可靠性单独量化了出来。

终端操作任务仍需长上下文

在 Terminal-Bench 2.1 上,JOLT 的 pass@1 为 10.96%,对照为 8.25%,差距收窄到 2.71 个百分点,pass@32 则是 34.83% 对 30.34%。越长的输出序列让采样带来的收益变大,也说明短程推理上的领先无法直接平移到终端操作这类长轨迹任务上。论文同时给出多组消融,师生两侧模型规模的配比方式都会影响最终收益。