待验证50% 置信观点精确时间
LEAF-OPD 依赖一个高质量的教师模型,教师的能力上限可能制约学生的遗忘效果。
1
来源数
50%
置信度
长期有效
时效性
2026/11/17
首次发现
来源
涉及实体
相关事实
待验证论文观察到来自固定教师的监督信号会随着学生模型能力的提升而变得越来越不划算76% 相似待验证D²-OPD通过自适应加权组合教师模型的后训练偏移和初始学生-教师差距来确定外推方向。76% 相似待验证研究者发现,即使从学生偏离最大的状态出发,教师自己的接管(takeover)仍能完成任务,而学生基于教师逐词评分训练后却常常耗尽回合。74% 相似待验证现有基于OPD的记忆训练方案面临冷启动困境:记忆工具和协议不在任何模型的预训练分布内,导致老师模型无法给出有效指导,学生模型也采样不到足够的记忆动作。74% 相似待验证在线策略蒸馏(On-Policy Distillation, OPD)的核心难题是如何从教师模型中提取有效的监督信号,传统方法依赖token概率或直接对齐隐藏状态,各有局限:token概率可能低估教师内部知识,直接对齐隐藏状态会迫使迁就教师特征空间,跨架构迁移时尤为棘手。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1179617API
curl https://kongchang.com/api/v1/knowledge/claims/1179617MCP
get_claim(id=1179617)