待验证50% 置信事实精确时间
MTA-OPSD将自蒸馏中的教师选择问题转化为Token级的动态路由问题，教师不再静态超参数而是随训练状态和Token上下文变化的变量。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证MTA-OPSD的核心设计是构建一个由候选教师组成的多教师池，并让每个Token在训练过程中自适应地选择自己偏好的教师。73% 相似待验证论文将现有OPSD做法归纳为两类：一是整个训练过程中教师固定并接触完整参考；二是在每个回答内部教师不变，但跨回答自适应变化部分参考的暴露程度。72% 相似待验证离线蒸馏使用教师模型预先生成的静态数据集训练学生，会导致协变量偏移（covariate shift）问题68% 相似待验证论文《Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation》指出，现有OPSD方法假设教师是固定的，且这一假设存在根本局限。68% 相似待验证On-policy蒸馏要求学生先生成自己的prefix轨迹，再由教师在学生实际到达的状态上给出指导，因此状态分布对齐，在长周期、误差易累积的任务上通常更稳定。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115276API
curl https://kongchang.com/api/v1/knowledge/claims/1115276MCP
get_claim(id=1115276)