待验证50% 置信事实精确时间
在RL后训练场景下，教师模型的输出分布会随训练不断变化，蒸馏监督信号变为'教师策略的相对变化量'而非绝对输出。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
Waypoint-OPD：用门控蒸馏迁移RL策略偏移
rss2026/10/15
涉及实体
相关事实
待验证论文观察到来自固定教师的监督信号会随着学生模型能力的提升而变得越来越不划算75% 相似待验证离线蒸馏使用教师模型预先生成的静态数据集训练学生，会导致协变量偏移（covariate shift）问题73% 相似待验证自蒸馏中，如果教师是学生策略的EMA或同步变体，学生的每次更新都会改变教师，导致目标信号漂移，训练变成追逐移动靶。72% 相似待验证当模型参数和数据量达到一定规模，一些训练中未显式教授的能力会涌现出来，比如少样本学习、思维链推理、跨语言迁移71% 相似待验证RLVR的优化景观与监督学习存在本质差异：奖励信号稀疏且离散，梯度估计来自采样响应，方差显著高于传统训练场景。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046913API
curl https://kongchang.com/api/v1/knowledge/claims/1046913MCP
get_claim(id=1046913)