待验证50% 置信观点精确时间
论文《Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation》指出，现有OPSD方法假设教师是固定的，且这一假设存在根本局限。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证在线策略蒸馏（On-Policy Distillation, OPD）的核心难题是如何从教师模型中提取有效的监督信号，传统方法依赖token概率或直接对齐隐藏状态，各有局限：token概率可能低估教师内部知识，直接对齐隐藏状态会迫使迁就教师特征空间，跨架构迁移时尤为棘手。76% 相似待验证论文将现有OPSD做法归纳为两类：一是整个训练过程中教师固定并接触完整参考；二是在每个回答内部教师不变，但跨回答自适应变化部分参考的暴露程度。74% 相似待验证On-policy蒸馏要求学生先生成自己的prefix轨迹，再由教师在学生实际到达的状态上给出指导，因此状态分布对齐，在长周期、误差易累积的任务上通常更稳定。72% 相似待验证MTA-OPSD将自蒸馏中的教师选择问题转化为Token级的动态路由问题，教师不再静态超参数而是随训练状态和Token上下文变化的变量。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115268API
curl https://kongchang.com/api/v1/knowledge/claims/1115268MCP
get_claim(id=1115268)