待验证50% 置信事实精确时间
策略内自蒸馏在学生自己采样出的轨迹上计算蒸馏损失，以学生当前策略产生的状态为条件让教师给出更优目标分布，从而减少分布偏移带来的误差累积。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证自回归生成系统训练采用Teacher Forcing策略，推理阶段切换为自回归模式后产生分布偏移导致误差累积放大74% 相似待验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并73% 相似待验证策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。73% 相似待验证策略蒸馏通常指用一个学生策略去模仿一个或多个教师策略的行为。72% 相似待验证教师强制引入了暴露偏差问题：训练时输入真实目标词，推理时输入模型自己预测的词，预测出错会在后续步骤累积放大72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033281API
curl https://kongchang.com/api/v1/knowledge/claims/1033281MCP
get_claim(id=1033281)