待验证50% 置信事实精确时间
端点式策略蒸馏方法将教师模型RL训练前后log概率差值作为监督信号，施加在学生模型自己生成的轨迹上。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
Waypoint-OPD：用门控蒸馏迁移RL策略偏移
rss2026/10/15
涉及实体
相关事实
待验证LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。80% 相似待验证置信度门控蒸馏只有当教师模型对样本的预测置信度超过阈值时，该样本的蒸馏信号才被纳入训练78% 相似已验证本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列78% 相似已验证离线蒸馏中训练数据由教师模型一次性生成并固定，学生模型在静态数据集上学习76% 相似待验证策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046893API
curl https://kongchang.com/api/v1/knowledge/claims/1046893MCP
get_claim(id=1046893)