待验证50% 置信事实精确时间
在线策略蒸馏(On-Policy Distillation, OPD)的核心难题是如何从教师模型中提取有效的监督信号,传统方法依赖token概率或直接对齐隐藏状态,各有局限:token概率可能低估教师内部知识,直接对齐隐藏状态会迫使迁就教师特征空间,跨架构迁移时尤为棘手。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
SimOPD:用相似性关系实现更高效的在线蒸馏
rss2026/10/16
涉及实体
相关事实
已验证在线策略蒸馏(OPD)让学生模型自己生成训练响应,再由教师模型提供监督信号75% 相似待验证On-policy蒸馏要求学生先生成自己的prefix轨迹,再由教师在学生实际到达的状态上给出指导,因此状态分布对齐,在长周期、误差易累积的任务上通常更稳定。71% 相似待验证arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程:先训练多个领域专用奖励模型教师,再通过路由式在线策略蒸馏整合进一个生成式学生模型,该统一学生模型据称超越了它所有被蒸馏的专家教师。69% 相似待验证论文观察到来自固定教师的监督信号会随着学生模型能力的提升而变得越来越不划算68% 相似待验证Token级在线策略蒸馏将学生模型的隐藏状态与教师信号对齐,并加入门控机制进行信用分配,在数学和工具使用基准上取得提升。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069440API
curl https://kongchang.com/api/v1/knowledge/claims/1069440MCP
get_claim(id=1069440)