概念Distillation Loss
蒸馏损失
在序列生成任务中，对选定轨迹进行token级交叉熵计算的损失函数，用于让学生模型最大化给定输入下轨迹序列的似然。
时间轴 (近 90 天)
10月19日
仅优化轨迹损失可能使学生过度拟合推理文本的表面形式却忽略结论的正确性；仅优化答案损失则退化为传统答案蒸馏，丧失推理能力迁移。
待验证50%
在序列生成任务中，对选定轨迹进行token级交叉熵计算的损失函数，用于让学生模型最大化给定输入下轨迹序列的似然。
仅优化轨迹损失可能使学生过度拟合推理文本的表面形式却忽略结论的正确性；仅优化答案损失则退化为传统答案蒸馏，丧失推理能力迁移。