SPTA：让学生前缀教会老师如何指导

引言：当老师跟不上学生的思路

在大型语言模型的知识蒸馏中，On-Policy Distillation（OPD） 已成为缓解学生模型暴露偏差的主流手段。它的核心思想是让学生在推理时生成自己的轨迹，然后由老师对这些轨迹上的每个token提供监督信号。听起来很合理——学生走自己的路，老师沿途指正。但现实往往更复杂：学生生成的前缀可能包含推理错误，或者遵循老师完全陌生的模式。当老师面对这些“陌生路况”时，它给出的token级监督可靠性会大打折扣。更糟糕的是，前缀越长，这种分布错配越严重。

最近一篇论文提出了 Student-Prefix Teacher Adaptation（SPTA） ，巧妙地转换了视角：与其强迫老师去适应学生的“错误路径”，不如让老师提前学会在这些路径上提供有效指导。这一思路在数学推理基准上取得了优于标准OPD和任务级RLVR适应老师的效果。

知识蒸馏（Knowledge Distillation）最初由Hinton等人提出，指将大型教师模型的知识迁移到小型学生模型。传统做法是让学生模仿教师在固定数据集上的输出分布（off-policy），但学生推理时遇到的分布与训练数据不同，导致暴露偏差（exposure bias）——一步错，步步错。On-Policy Distillation 让模型在自身生成的轨迹上接受教师监督，从而缓解该问题，其监督粒度通常是token级：教师对每个学生生成的token给出概率分布或分数，学生通过最小化与教师分布的差异来学习。

问题诊断：老师为什么会“水土不服”

OPD的监督信号依赖于老师对“学生当前状态”的判断。标准做法是老师基于自己熟悉的推理模式来打分，但学生可能因为知识不足或策略偏差，走到老师从未考虑过的状态。例如，学生可能用错误的中间结论继续推导，此时老师如果强行按自己的思路纠正，反而会给出不连贯的监督。

论文指出，这种教师侧分布错配随前缀长度累积而恶化。直观理解：短前缀时，老师尚能“包容”偏差；但长前缀可能完全偏离老师的推理流形，导致监督信号变得噪声化。这解释了为什么OPD在复杂推理任务上提升有限——学生错得越远，老师越帮不上忙。

分布错配（distribution mismatch）是教师-学生框架中的常见问题：教师基于自身推理分布给出监督，但学生实际访问的状态分布与之存在偏移。在序列生成中，这种偏移会随前缀长度累积——每一步的微小偏差都可能导致后续状态远离教师熟悉的区域，最终使教师给出的token级信号与最优指导方向不一致。这与模仿学习中的协变量偏移（covariate shift）本质相同：训练时输入分布与推理时输入分布不一致，导致策略在长序列上性能退化。

SPTA的核心机制：让老师“预习”学生的状态

SPTA的解决方案分为两个阶段，且不改变蒸馏目标本身。

阶段一：收集随机长度的学生前缀

在正式OPD开始前，先让学生模型自由生成一系列推理轨迹，并截取随机长度的前缀。这些前缀就是学生“可能造访的状态”的样本，包含正确的、错误的、以及各种奇怪的中间步骤。

阶段二：用RLVR训练老师适应这些前缀

对于每个前缀，将其作为上下文，让老师继续生成后续推理。然后用可验证奖励的强化学习（RLVR） 来训练老师：如果最终答案正确，就给予奖励。关键设计在于——老师不是去模仿学生的推理过程，而是学习从学生诱导的状态中“恢复”到正确答案。换句话说，老师被训练成“无论起点多离谱，都能把推理拉回正轨”的专家。

完成适应后，老师再参与标准OPD流程。此时，面对学生生成的前缀，老师已经见过类似状态，其token级监督的可靠性显著提升。

RLVR（Reinforcement Learning with Verifiable Rewards）指使用可自动验证的奖励信号进行强化学习。与依赖人类偏好模型的RLHF不同，RLVR的奖励直接来自规则或程序：例如数学题答案是否与标准答案一致、代码是否通过单元测试。这种奖励信号客观、廉价且可扩展，特别适合推理任务。在SPTA中，教师模型对每个学生前缀续写推理后，系统仅检查最终答案是否正确并给予奖励，从而用强化学习优化教师策略，使其学会从任意前缀状态恢复至正确推理路径。

实验表现：数学推理上的全面超越

论文在数学推理基准上进行了评估。结果显示，SPTA带来的学生平均性能优于两个基线：标准OPD，以及使用任务级RLVR适应老师（即在任务数据上直接做RLVR，而非针对学生前缀）的OPD。

这一对比揭示了一个重要洞察：老师不仅要擅长独立解题，还要擅长在学生实际访问的状态上提供指导。任务级RLVR虽然提升了老师的解题能力，但没有解决分布错配问题；而SPTA通过匹配学生前缀分布，让老师的指导更具针对性。

启示：蒸馏中的“因材施教”

SPTA的价值在于它重新定义了老师适应的方向。传统思路是让学生向老师靠拢（如序列级蒸馏），或让老师泛化到更多任务（如任务级RLVR）。SPTA则提出：老师应当主动适应学生的“行为分布”，哪怕这些行为包含错误。这类似于人类教学中，优秀教师会根据学生的典型错误来调整讲解方式，而不是一味展示标准解法。

对于AI编程和AI应用领域，这一思路同样有借鉴意义。在代码生成或工具调用场景中，学生模型可能产生不符合老师预期的中间状态。若老师能提前在这些状态上训练，蒸馏效果可能更稳定。此外，SPTA的两阶段流程相对轻量，只需在OPD前增加一轮前缀收集与RLVR训练，具备工程可行性。

当然，论文尚未讨论更复杂的开放域任务，以及前缀长度分布的设计策略。但作为一项针对教师侧分布错配的改进，SPTA为on-policy蒸馏提供了新的优化维度。