Perplexity与NVIDIA推出JOLT：师生联合强化学习新方法

Perplexity 与 NVIDIA 的研究团队联合提出了一种名为 JOLT 的后训练方法，核心思路是让同一个模型同时扮演教师和学生的角色，用联合强化学习的方式完成训练。据 MarkTechPost 报道，在 MATH 数学推理基准上，JOLT 达到了与 GRPO 相同的准确率，但处理的训练 token 数量只有后者的约六分之一——6.5 倍的 token 效率提升，是这项工作的最大卖点。

一个模型，两个身份

传统上，蒸馏或师生框架需要两个独立模型：教师负责生成高质量信号，学生负责学习。JOLT 打破了这种分工，让单一模型在训练过程中同时承担教学与学习两种职责。这种设计省去了维护两套参数的开销，也让教师信号与学生策略保持同步演化——教师不会因为冻结而落后于学生当前的能力水平。

从强化学习的角度看，这相当于把"谁来提供奖励信号"的问题内部化：模型自身的另一面成为参照系，策略更新与信号生成在同一个循环中完成。

6.5 倍 token 效率意味着什么

GRPO（Group Relative Policy Optimization）是当前推理模型后训练的主流方法之一，被广泛用于数学、代码等需要长链推理的任务。它的代价是需要大量采样来估计相对优势，token 消耗居高不下。

JOLT 声称在 MATH 上以 6.5 倍更少的训练 token 达到同等准确率。这一数字若能在更多任务上复现，直接对应的是训练成本与迭代周期的压缩。对于需要反复做后训练实验的团队来说，token 效率往往比绝对准确率更能决定研究节奏。不过需要注意，目前公开信息仅覆盖 MATH 一项基准，泛化能力仍需更多验证。

GRPO 由 DeepSeek^广告 团队在 DeepSeekMath 工作中提出，其核心做法是对同一道题采样一组（group）多个回答，用组内奖励的相对大小（减去组均值、除以组标准差）来估计每个回答的优势值，从而省去单独训练价值网络（critic）的开销。也正因如此，它的采样量随组大小线性增长，长链推理任务下单个样本动辄数千 token，训练 token 消耗因此居高不下。理解这一点，才能看清 JOLT 所宣称的 6.5 倍效率提升究竟压缩的是哪一部分成本——主要是为估计相对优势而付出的大规模重复采样。

教师信号从哪来

联合训练的关键难点在于：如果教师与学生是同一模型，信号会不会退化为自我确认？JOLT 的解决思路在于"同策略"（on-policy）——训练数据由模型当前策略生成，而非来自固定的离线数据集。教师角色基于这些即时生成的轨迹给出评判，学生角色据此更新。这种闭环让训练分布始终贴近模型当前能力边界，避免了离线数据与在线策略之间的分布漂移。

这一设计与近期强化学习后训练领域强调 on-policy 数据的趋势一致，但在师生同体的设定下如何防止信号坍缩，是方法设计中值得关注的工程细节，原文未展开披露。

On-policy 与 off-policy 的区别：on-policy 指训练所用的轨迹由当前策略实时采样生成，策略更新后旧数据即被丢弃；off-policy 则允许复用历史数据或固定数据集，样本效率更高但存在分布失配风险。在师生同体的设定下，on-policy 尤为关键：若教师依据过时轨迹打分，其评判就会偏离学生当前的能力边界，导致信号失真。代价是每轮更新后都需重新采样，这也是 JOLT 必须靠提升单 token 信息密度来抵消采样开销的原因。

背景与待解问题

Perplexity 近年来在自研推理模型上投入明显，NVIDIA 则在训练基础设施与模型研究上持续布局，双方合作产出的这类后训练方法，指向的是"用更少算力换更强推理"的现实需求。

需要冷静看待的几点：

• 对比基线仅有 GRPO 与 MATH 基准，缺少与其他蒸馏方法、更多任务类型的横向比较；
• 6.5 倍 token 效率的具体统计口径（是否含教师侧开销）尚不明确；
• 师生同体在训练稳定性上的边界条件，公开材料未给出充分消融。

JOLT 提供了一个有意思的方向：把师生关系从"两个模型"压缩为"一个模型的两面"。它能否从单项基准走向通用后训练流程，取决于后续更多任务上的复现结果。

知识蒸馏与师生框架：经典蒸馏由独立且通常冻结的教师模型输出软标签或推理轨迹，学生模型拟合这些信号。其局限在于教师能力固定，学生追近后信号增益递减，且两套参数带来显存与推理开销。JOLT 的“同体”设计正是针对这一局限：教师随训练同步演化，信号始终略高于学生当前水平，形成持续可学的梯度。不过这也引入了自我确认的风险，需要通过采样多样性或评判机制设计来约束。