待验证50% 置信观点精确时间
与对纠正片段直接做交叉熵（硬标签）不同，KL 监督使用教师的完整 soft 分布作为软目标，保留了教师对各候选 token 的相对置信度，信号更平滑，也更不容易让学生过拟合到单一答案。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证Token级监督指教师对序列中每个token位置给出分布或标签，学生通过最小化与教师分布的差异（如KL散度）来学习73% 相似待验证教师干预试点研究表明，教师偏好在不同Token之间存在差异，并且通过多数投票和基于KL散度的选择可以为每个Token识别出一个更优的教师。71% 相似已验证模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习70% 相似待验证SeTPO仅对低奖励轨迹引入教师信号，利用反向KL散度导出token级别的教师反馈，并将其融入策略优势函数。69% 相似待验证On-policy蒸馏要求学生先生成自己的prefix轨迹，再由教师在学生实际到达的状态上给出指导，因此状态分布对齐，在长周期、误差易累积的任务上通常更稳定。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115283API
curl https://kongchang.com/api/v1/knowledge/claims/1115283MCP
get_claim(id=1115283)