待验证50% 置信事实精确时间
D²-OPD通过自适应加权组合教师模型的后训练偏移和初始学生-教师差距来确定外推方向。
1
来源数
50%
置信度
长期有效
时效性
2026/11/6
首次发现
来源
涉及实体
相关事实
待验证D²-OPD的逐前缀硬KL约束计算开销可控，自适应方向组合不需要额外的教师前向传播，在实际训练中具有较好的可行性。78% 相似已验证在线策略蒸馏（OPD）让学生模型自己生成训练响应，再由教师模型提供监督信号74% 相似待验证CoRD 的设计使替换强度随训练自动退火：随着学生逐渐学会教师偏好的 token，两个分布趋于一致，替换自然减少。73% 相似待验证离线蒸馏使用教师模型预先生成的静态数据集训练学生，会导致协变量偏移（covariate shift）问题72% 相似待验证论文将现有OPSD做法归纳为两类：一是整个训练过程中教师固定并接触完整参考；二是在每个回答内部教师不变，但跨回答自适应变化部分参考的暴露程度。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1141997API
curl https://kongchang.com/api/v1/knowledge/claims/1141997MCP
get_claim(id=1141997)