概念Answer Loss
答案损失
直接监督学生模型生成最终答案正确性的损失函数,通常是对答案token的交叉熵。
时间轴 (近 90 天)
10月19日
仅优化轨迹损失可能使学生过度拟合推理文本的表面形式却忽略结论的正确性;仅优化答案损失则退化为传统答案蒸馏,丧失推理能力迁移。
待验证50%
直接监督学生模型生成最终答案正确性的损失函数,通常是对答案token的交叉熵。
仅优化轨迹损失可能使学生过度拟合推理文本的表面形式却忽略结论的正确性;仅优化答案损失则退化为传统答案蒸馏,丧失推理能力迁移。