待验证50% 置信事实精确时间
JOLT 的设计省去了维护两套参数的开销，并让教师信号与学生策略保持同步演化，避免教师因冻结而落后于学生当前能力水平。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
待验证论文观察到来自固定教师的监督信号会随着学生模型能力的提升而变得越来越不划算67% 相似待验证现有少步蒸馏方法大致分为两类：一类依赖额外的 score 模型来估计教师分布，另一类引入对抗损失来拉近学生与教师的输出分布。65% 相似待验证蒸馏后的模型能保留教师模型70-90%的能力65% 相似待验证On-policy蒸馏要求学生先生成自己的prefix轨迹，再由教师在学生实际到达的状态上给出指导，因此状态分布对齐，在长周期、误差易累积的任务上通常更稳定。64% 相似待验证自蒸馏中，如果教师是学生策略的EMA或同步变体，学生的每次更新都会改变教师，导致目标信号漂移，训练变成追逐移动靶。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1084762API
curl https://kongchang.com/api/v1/knowledge/claims/1084762MCP
get_claim(id=1084762)