ReDiST：以学生为中心构建推理轨迹，提升蒸馏效果

推理蒸馏中，仅仅提供正确答案及其推理轨迹，并不足以让学生模型有效学习。论文《Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation》提出ReDiST框架，通过考虑轨迹的中间内容和目标学习者的可接受性，构建能真正提升学习效果的推理轨迹。

推理蒸馏的瓶颈：为什么有答案和轨迹还不够？

传统推理蒸馏通常将教师模型的完整推理轨迹连同正确答案一起提供给学生模型。然而，论文指出：一条推理轨迹即使伴随正确答案，也未必能为特定学生提供有效的监督信号。原因在于，不同学生模型的知识水平和理解能力不同，教师生成的轨迹可能超出学生的接受范围，或者包含对学生而言不必要的信息。

ReDiST的核心洞察是：推理轨迹的“教学质量”不仅取决于其内容是否正确，还取决于它是否与目标学生的认知状态匹配。因此，轨迹构建应当以学生为中心（student-conditioned），而非简单地复制教师输出。

推理蒸馏（Reasoning Distillation） 是知识蒸馏的一个分支，指用大型教师模型生成的推理过程（而非仅最终答案）来训练较小的学生模型，使其习得逐步推理的能力。传统知识蒸馏主要传递输出分布或软标签，而推理蒸馏传递的是显式的思维链（Chain-of-Thought）文本。其有效性依赖于一个隐含假设：教师轨迹对学生而言是“可学习”的。但学生模型的容量、预训练数据分布与教师存在差距，过难或过冗长的轨迹会超出学生的分布外泛化能力，导致监督信号失效。ReDiST正是针对这一假设的脆弱性，将轨迹视为需要“适配”的教学材料，而非直接复制的教师输出。

ReDiST框架：从学生尝试到个性化轨迹

ReDiST的工作流程分为三个关键步骤，整体在离线阶段完成，推理时仅使用蒸馏后的学生模型。

1. 基于学生草稿的轨迹修订

ReDiST从学生模型自己的尝试（drafts）出发。对于答案正确的草稿，利用提供的证据进行修订，使其推理过程更加严谨；对于答案错误的草稿，则借助已验证的答案提供额外指导进行修复。这种方式确保了轨迹既基于学生已有认知，又得到了必要的修正。

2. 学生匹配的筛选与排序

修订后的候选轨迹需要经过筛选。ReDiST使用一个冻结的、与学生匹配的读者模型（reader），根据问题、证据和候选轨迹，评估其答案恢复能力和已验证答案概率，对原始轨迹和编辑后的候选进行排序。这一步骤模拟了目标学生理解轨迹并得出正确答案的可能性，从而选出最具教学价值的轨迹。

读者模型（Reader Model） 在此处扮演“模拟学生”的角色，通常是一个与目标学生规模或能力相近的冻结模型。它不参与训练，仅用于评估候选轨迹：给定问题、证据和轨迹，计算该读者模型恢复出正确答案的概率（答案恢复能力）以及其对已验证答案的似然（已验证答案概率）。这两个指标共同刻画轨迹的“可教学性”——既要求轨迹能引导读者得出正确结论，也要求其与正确答案的语义一致。由于读者模型与学生匹配，其评分可近似视为目标学生学习该轨迹后的预期表现，从而避免直接用教师偏好或人工规则筛选带来的偏差。

3. 平衡蒸馏损失

在蒸馏阶段，ReDiST不仅让学生模型学习选定的轨迹，还通过一个辅助的答案损失来平衡轨迹监督和最终答案监督。这确保了学生模型既关注推理过程，也关注最终结果的正确性。

实验表明，在问答基准上，ReDiST在源任务和跨基准测试中均优于仅答案监督、原始轨迹以及评估的轨迹选择和重写基线。有意思的是，在不同监督配方下，源基准和迁移基准的性能排名可能不同，这凸显了在分布变化下评估轨迹教学效用的重要性。

蒸馏损失（Distillation Loss） 在序列生成任务中通常是对选定轨迹的 token 级交叉熵，即让学生模型最大化给定输入下轨迹序列的似然。而答案损失（Answer Loss） 则直接监督学生模型生成最终答案的正确性，通常是对答案 token 的交叉熵。ReDiST 将两者加权组合，原因在于：仅优化轨迹损失可能使学生过度拟合推理文本的表面形式，却忽略结论的正确性；仅优化答案损失则退化为传统答案蒸馏，丧失推理能力迁移。平衡项的作用是让模型在“模仿过程”与“保证结果”之间取得折中，实验中该配方对跨分布泛化尤为关键。

实验与启示：跨分布评估的必要性

论文在问答基准上进行了实验，结果显示ReDiST能够提升源任务和跨基准性能。然而，一个关键发现是：在源基准上表现最好的监督方法，在迁移基准上未必同样最优。这意味着，评估推理轨迹的教学效用时，不能仅看同分布测试，还需要考虑跨分布泛化。

这一发现对推理蒸馏实践具有指导意义：构建轨迹时，应当以目标学生的实际学习效果为导向，并在多样化的评估场景中验证方法有效性。ReDiST通过学生条件化的构建和筛选，为个性化推理蒸馏提供了新思路。