待验证50% 置信事实精确时间
在知识蒸馏中，off-policy蒸馏使用教师模型生成的轨迹作为训练样本，存在教师访问状态分布与学生自身状态分布不一致的分布偏移问题。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
OPRD：让代码智能体摆脱"提醒依赖"的新训练法
rss2026/10/15
涉及实体
相关事实
待验证策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。78% 相似待验证知识蒸馏会导致学生模型继承教师模型的某些行为模式，在溯源分析时出现指纹交叉污染的假阳性结果77% 相似待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构77% 相似待验证策略内自蒸馏在学生自己采样出的轨迹上计算蒸馏损失，以学生当前策略产生的状态为条件让教师给出更优目标分布，从而减少分布偏移带来的误差累积。77% 相似待验证自回归生成系统训练采用Teacher Forcing策略，推理阶段切换为自回归模式后产生分布偏移导致误差累积放大75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046838API
curl https://kongchang.com/api/v1/knowledge/claims/1046838MCP
get_claim(id=1046838)