PIVOT
一种用于强化学习从可验证奖励中学习（RLVR）的方法，通过在学生轨迹中插入教师纠正片段并施加 token 级 KL 监督，缓解稀疏奖励问题，提升大模型在困难推理任务上的表现。
时间轴 (近 90 天)
PIVOT 方法将教师模型的在线纠正插入学生轨迹，并对纠正片段施加 token 级 KL 监督。
在逻辑游戏基准上，PIVOT 将平均 avg@8 从最佳基线的 19.5% 提升至 35.6%。
PIVOT 将教师引导拆解为两个互补机制：轨迹级干预（在学生轨迹中插入教师纠正）和 token 级监督（对纠正片段提供稠密的目标信号）。
控制实验显示，单独使用轨迹干预或单独使用 token 监督都不够充分，两者结合才能形成有效方法。
在 PIVOT 中，token 级 KL 监督最小化学生模型在纠正片段位置上的下一 token 分布与教师分布的 KL 散度，即 KL(学生‖教师)。
在 PIVOT 中，监督只作用于插入的教师纠正片段，原始学生 token 仍由 RLVR 奖励驱动，两类损失联合优化。
PIVOT 在数学推理基准上也验证了方法的泛化性，并非只对逻辑游戏有效。
论文系统分析了 PIVOT 的两个关键设计维度：在哪里干预（插入位置的选择）和如何监督（KL 监督的作用方式）。
PIVOT 的设计保持了学生模型的自主性——教师纠正只在需要时介入，而非替代学生完成整个推理过程。
全部知识事实 (9)
PIVOT 方法将教师模型的在线纠正插入学生轨迹，并对纠正片段施加 token 级 KL 监督。
50%待验证在逻辑游戏基准上，PIVOT 将平均 avg@8 从最佳基线的 19.5% 提升至 35.6%。
50%待验证PIVOT 将教师引导拆解为两个互补机制：轨迹级干预（在学生轨迹中插入教师纠正）和 token 级监督（对纠正片段提供稠密的目标信号）。
50%待验证控制实验显示，单独使用轨迹干预或单独使用 token 监督都不够充分，两者结合才能形成有效方法。
50%待验证在 PIVOT 中，token 级 KL 监督最小化学生模型在纠正片段位置上的下一 token 分布与教师分布的 KL 散度，即 KL(学生‖教师)。
50%待验证在 PIVOT 中，监督只作用于插入的教师纠正片段，原始学生 token 仍由 RLVR 奖励驱动，两类损失联合优化。
50%待验证PIVOT 在数学推理基准上也验证了方法的泛化性，并非只对逻辑游戏有效。
50%待验证论文系统分析了 PIVOT 的两个关键设计维度：在哪里干预（插入位置的选择）和如何监督（KL 监督的作用方式）。
50%待验证PIVOT 的设计保持了学生模型的自主性——教师纠正只在需要时介入，而非替代学生完成整个推理过程。
50%