VASPO
一种将强化学习与自蒸馏信号融合的推理模型训练方法，在 PPO 框架内利用特权价值估计对 token 级优势进行增强，通过 critic 提供全局价值方向、自教师调节局部正向优势，提升数学推理任务的训练效率。
时间轴 (近 90 天)
VASPO 的全称是 Value-Augmented Self-Distillation Policy Optimization，其架构在 PPO 框架内运行，融合自蒸馏信号与 PPO 价值估计。
VASPO 在 Qwen3-4B 上相比 PPO 平均准确率提升 2.59 个百分点，在 OLMo3-7B 上提升 1.81 个百分点。
论文在六个数学推理基准上评估了 VASPO，在 Knights and Knaves 任务上取得了所有评估方法中最高的平均准确率。
VASPO 包含两个关键组件：critic 基于预测的续写回报计算 token 级 PPO 优势，自教师通过有界概率比调节选定的正向优势。
VASPO 的代码已在 GitHub 开源，地址为 https://github.com/cii030/VASPO。
VASPO 的作者认为，将自蒸馏信号与 GRPO 简单结合（用 GRPO 决定更新方向，用教师信号做缩放）并未发挥两种信号的真正潜力。
VASPO 的提升在不同模型规模和架构上一致观察到，表明方法具有较好的泛化性。
全部知识事实 (7)
VASPO 包含两个关键组件：critic 基于预测的续写回报计算 token 级 PPO 优势，自教师通过有界概率比调节选定的正向优势。
50%待验证VASPO 在 Qwen3-4B 上相比 PPO 平均准确率提升 2.59 个百分点，在 OLMo3-7B 上提升 1.81 个百分点。
50%待验证论文在六个数学推理基准上评估了 VASPO，在 Knights and Knaves 任务上取得了所有评估方法中最高的平均准确率。
50%待验证VASPO 的全称是 Value-Augmented Self-Distillation Policy Optimization，其架构在 PPO 框架内运行，融合自蒸馏信号与 PPO 价值估计。
50%待验证VASPO 的提升在不同模型规模和架构上一致观察到，表明方法具有较好的泛化性。
50%待验证VASPO 的作者认为，将自蒸馏信号与 GRPO 简单结合（用 GRPO 决定更新方向，用教师信号做缩放）并未发挥两种信号的真正潜力。
50%待验证VASPO 的代码已在 GitHub 开源，地址为 https://github.com/cii030/VASPO。
50%