JOLT
一种师生联合强化学习的后训练方法，让同一模型同时充当教师与学生，通过on-policy采样实现训练，在MATH基准上以更少token达到与GRPO相当的准确率。
时间轴 (近 90 天)
JOLT在MATH上的准确率绝对值、与GRPO打平时的模型规模、6.5倍token缩减是否以更多训练步数或更复杂教师训练阶段为代价、以及共享参数下是否存在能力退化或模式坍塌风险，均为尚待回答的开放问题。
JOLT的核心设计是让同一个模型同时扮演教师和学生两个角色，且教师角色经过专门训练以生成学生能够利用的反馈信号。
目前公开的JOLT效率对比仅限MATH一个基准，尚不能推断其在代码生成、多轮对话或开放域推理上的表现。
JOLT报告的6.5倍缩减是token口径；如果它需要额外的教师训练阶段、更多训练步数，或每步要跑多次前向（教师评价+学生生成），总FLOPs的节省可能明显小于6.5倍，甚至在模型较小时出现倒挂。
如果JOLT的效率优势具有泛化性，最直接的受益场景是受限于token预算的中小团队和学术实验室。
JOLT并非首个尝试压缩后训练成本的工作，此前的方向包括拒绝采样微调、直接偏好优化（DPO）系列方法以及各类自奖励机制。
JOLT如何防止奖励hacking的具体机制在原始素材中未展开，这可能是论文中需要重点关注的技术细节。
Perplexity 与 NVIDIA 的研究团队联合提出了一种名为 JOLT 的后训练方法，让同一个模型同时扮演教师和学生的角色，用联合强化学习方式训练。
在 MATH 数学推理基准上，JOLT 达到了与 GRPO 相同的准确率，但处理的训练 token 数量只有 GRPO 的约六分之一。
JOLT 实现了约 6.5 倍的 token 效率提升（相对于 GRPO）。
还有 4 条时间轴事件
全部知识事实 (14)
JOLT在MATH上的准确率绝对值、与GRPO打平时的模型规模、6.5倍token缩减是否以更多训练步数或更复杂教师训练阶段为代价、以及共享参数下是否存在能力退化或模式坍塌风险，均为尚待回答的开放问题。
50%待验证JOLT的核心设计是让同一个模型同时扮演教师和学生两个角色，且教师角色经过专门训练以生成学生能够利用的反馈信号。
50%待验证目前公开的JOLT效率对比仅限MATH一个基准，尚不能推断其在代码生成、多轮对话或开放域推理上的表现。
50%待验证JOLT报告的6.5倍缩减是token口径；如果它需要额外的教师训练阶段、更多训练步数，或每步要跑多次前向（教师评价+学生生成），总FLOPs的节省可能明显小于6.5倍，甚至在模型较小时出现倒挂。
50%待验证JOLT并非首个尝试压缩后训练成本的工作，此前的方向包括拒绝采样微调、直接偏好优化（DPO）系列方法以及各类自奖励机制。
50%待验证JOLT如何防止奖励hacking的具体机制在原始素材中未展开，这可能是论文中需要重点关注的技术细节。
50%待验证JOLT 目前公开信息仅覆盖 MATH 一项基准，泛化能力仍需更多验证。
50%待验证Perplexity 与 NVIDIA 的研究团队联合提出了一种名为 JOLT 的后训练方法，让同一个模型同时扮演教师和学生的角色，用联合强化学习方式训练。
50%待验证JOLT 的 6.5 倍 token 效率提升主要压缩的是为估计相对优势而付出的大规模重复采样成本。
50%待验证在 MATH 数学推理基准上，JOLT 达到了与 GRPO 相同的准确率，但处理的训练 token 数量只有 GRPO 的约六分之一。
50%待验证JOLT 实现了约 6.5 倍的 token 效率提升（相对于 GRPO）。
50%待验证JOLT 采用同策略（on-policy）训练，训练数据由模型当前策略生成，而非来自固定的离线数据集。
50%待验证JOLT 的设计省去了维护两套参数的开销，并让教师信号与学生策略保持同步演化，避免教师因冻结而落后于学生当前能力水平。
50%待验证如果JOLT的效率优势具有泛化性，最直接的受益场景是受限于token预算的中小团队和学术实验室。
50%