待验证50% 置信事实精确时间
HCN(Highest Coverage Next)策略根据教师对学生未解决问题的加权覆盖率动态选择教师。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
涉及实体
相关事实
待验证教师干预试点研究表明,教师偏好在不同Token之间存在差异,并且通过多数投票和基于KL散度的选择可以为每个Token识别出一个更优的教师。67% 相似待验证在线策略蒸馏让学生模型在训练过程中生成自己的排序,教师针对这些排序提供反馈,从而避免离线蒸馏中教师分布与学生分布不匹配的问题(暴露偏差)。65% 相似待验证自蒸馏策略优化(SDPO)通过反馈条件下的“自教师”为学生模型提供密集的token级监督信号。65% 相似待验证Token级监督指教师对序列中每个token位置给出分布或标签,学生通过最小化与教师分布的差异(如KL散度)来学习64% 相似待验证联合缩放策略让批评者与教师同步扩大规模,能够防止训练崩溃,并使学生模型从更大的教师中获益。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1154302API
curl https://kongchang.com/api/v1/knowledge/claims/1154302MCP
get_claim(id=1154302)