VASPO：用特权价值估计重塑自蒸馏推理训练

推理模型的训练长期面临一个矛盾：强化学习信号稀疏，而自蒸馏信号又过于局部。VASPO 提出了一种在 PPO 框架内融合二者优势的新方案，在多个数学推理基准上超越了现有方法。

VASPO 论文标题页

问题：自蒸馏的监督信号到底缺了什么

On-policy 自蒸馏的核心思路是让一个"特权自教师"（privileged self-teacher）为学生模型提供密集监督。相比只看最终答案对错的稀疏奖励，这种做法显然更有信息量——每一步生成都有梯度可回传。

但论文指出了一个关键缺陷：自教师的监督反映的是局部 token 偏好，而非学生模型在无引导条件下继续生成时的期望回报。换句话说，教师告诉你"这个 token 好"，但没说"从这里走下去最终能不能得到正确答案"。

近期的一些方法尝试把自蒸馏信号与 GRPO 结合：用 GRPO 决定更新方向，用教师信号做缩放。VASPO 的作者认为，这种整合方式并没有发挥出两种信号的真正潜力。

什么是特权自教师（privileged self-teacher）？ 在自蒸馏范式中，同一个模型被赋予两种角色：一种是“学生”，只能看到问题本身，按常规方式逐步生成；另一种是“教师”，在生成每一步时额外获得“特权信息”，比如标准答案、参考答案的中间步骤、或更充分的上下文。教师基于这些额外信息对每个 token 给出概率分布或偏好打分，学生则被训练去匹配教师的分布。由于教师信息更充分，其给出的监督比“只看最终对错”的稀疏奖励密集得多，每一步都有可回传的梯度信号，这也是 on-policy 自蒸馏近年来在推理任务中受到关注的原因。

稀疏奖励与 GRPO / PPO 的关系。 在数学推理类任务中，可验证的奖励通常只在序列末尾给出——答案对就加分，错则不加分，中间的推理步骤没有直接信号，这就是“奖励稀疏”。PPO（Proximal Policy Optimization）通过一个 critic 网络估计每个状态的价值，用优势函数把末尾的稀疏奖励回传到中间 token，缓解稀疏问题。GRPO（Group Relative Policy Optimization）则去掉独立 critic，改为对同一问题采样一组回答、用组内相对得分作为优势基线，从而降低显存与训练成本。这两类方法都只依赖最终答案的对错，缺乏对“中间某一步到底好不好”的细粒度判断，这正是自蒸馏信号想要填补的空白。

互补的位置动态：一个被忽视的训练信号规律

VASPO 的核心洞察来自对两种信号在生成序列不同位置上表现的观察。

特权信息对 critic 的价值预测准确度在响应末尾更强——越接近答案，critic 越能判断当前状态的好坏。而自教师的引导信号则呈现完全不同的模式：开头强、中间衰减、结尾回升。

这种互补性意味着，如果能在正确的位置用正确的信号，训练效率可以显著提升。GRPO + 教师缩放的组合恰恰忽略了这种位置动态，只是简单地把两种信号叠加在一起。

“优势”“价值”与“token 级 PPO 优势”的含义。 在强化学习中，价值函数 V(s) 估计从状态 s 出发能获得的期望累计回报，critic 就是学习这个函数的网络。优势 A(s, a) = Q(s, a) − V(s) 衡量“在状态 s 下采取动作 a，比平均水平好多少”。在语言模型里，一个 token 就是一次动作，所以 token 级优势衡量的是“在此位置生成这个 token 相对于期望是好还是坏”。VASPO 中 critic 用预测的续写回报给每个 token 打优势分，相当于为整条推理链提供全局视角的“方向指引”；而自教师信号则是对单个 token 的局部偏好判断，两者作用范围不同，这也是它们能互补的根本原因。

VASPO 怎么做：价值增强的自蒸馏策略优化

VASPO 的全称是 Value-Augmented Self-Distillation Policy Optimization，其架构在 PPO 框架内运行，包含两个关键组件在学生生成的同一前缀上评估相同的特权信息：

Critic 负责计算 token 级 PPO 优势。 它基于预测的续写回报来评估每个 token 的贡献，这提供了全局视角下的价值估计。

自教师负责调节选定的正向优势。 通过有界的概率比（bounded probability ratios），教师信号对优势值进行精细化调整，避免过度干预。

这种设计的巧妙之处在于分工明确：critic 管"方向对不对"，教师管"这一步好不好"，两者在不同位置发挥各自的优势。

实验结果：稳定的性能提升

论文在六个数学推理基准上进行了评估。在 Qwen3-4B 上，VASPO 相比 PPO 平均准确率提升 2.59 个百分点；在 OLMo3-7B 上提升 1.81 个百分点。

在 Knights and Knaves 任务上，VASPO 在所有评估方法中取得了最高平均准确率。有意思的是，这些提升是在不同模型规模和架构上一致观察到的，说明方法本身具有较好的泛化性。

代码已在 GitHub 开源（https://github.com/cii030/VASPO），便于复现和进一步研究。

为什么这个方向值得关注

VASPO 的价值不仅在于数字上的提升，更在于它揭示了一个方法论层面的问题：将两种训练信号简单组合，不如理解它们各自在训练过程中的动态特性，然后做有针对性的整合。

这种"先分析信号特性，再设计融合策略"的思路，对于当前推理模型训练中越来越多的信号源（RL 奖励、过程奖励模型、自蒸馏、对比学习等）具有普遍的参考意义。如何让不同信号在正确的时间、正确的位置发挥作用，可能比单纯增加信号种类更重要。

有界概率比（bounded probability ratios）为何重要。 在 PPO 类算法中，重要性采样比 r = π_new(a|s) / π_old(a|s) 用来修正新旧策略分布差异，但该比值若无约束，在单步更新中可能剧烈偏离，导致训练不稳定甚至崩溃。PPO 的经典做法是用 clip 把比值限制在 [1−ε, 1+ε] 区间内。VASPO 让自教师信号通过“有界概率比”来调节优势值，本质上是给教师干预加了一个安全上限：教师可以放大或缩小某个正向优势，但幅度被限制在可控范围内，既保留细粒度引导，又避免教师对更新方向产生过度干预。