待验证50% 置信事实精确时间
反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证与对纠正片段直接做交叉熵(硬标签)不同,KL 监督使用教师的完整 soft 分布作为软目标,保留了教师对各候选 token 的相对置信度,信号更平滑,也更不容易让学生过拟合到单一答案。72% 相似待验证教师干预试点研究表明,教师偏好在不同Token之间存在差异,并且通过多数投票和基于KL散度的选择可以为每个Token识别出一个更优的教师。70% 相似待验证SeTPO仅对低奖励轨迹引入教师信号,利用反向KL散度导出token级别的教师反馈,并将其融入策略优势函数。65% 相似待验证在行为约束强化学习中,只需访问参考策略的梯度即可实现KL正则化,而参考策略的梯度可通过速度分数变换获得。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129548API
curl https://kongchang.com/api/v1/knowledge/claims/1129548MCP
get_claim(id=1129548)