待验证50% 置信事实精确时间

RM-OPD的关键机制是在学生自己生成的critique上施加token级密集监督，使监督分布与学生当前策略分布一致，缓解训练与推理分布错配问题。

1

来源数

50%

置信度

长期有效

时效性

2026/10/16

首次发现

来源

蒸馏的隐性代价：教师行为泄漏与奖励模型超越

rss2026/10/16

涉及实体

RM-OPD论文concept 在线策略蒸馏concept

相关事实

已验证在线策略蒸馏（OPD）让学生模型自己生成训练响应，再由教师模型提供监督信号69% 相似待验证与推理时对齐常被对比的训练时对齐（如 RLHF、DPO）把价值偏好直接写入权重，稳定性更强但灵活性差、且难以针对个体用户动态调整。65% 相似待验证行为克隆存在分布偏移问题，DAgger等改进算法通过让学习中的智能体与专家持续交互来扩充训练数据65% 相似待验证相比传统教师强制，GTF能够减少暴露偏差（训练时依赖真实数据、推理时依赖自身预测造成的分布错配问题）63% 相似待验证安全对齐通常包括 RLHF（基于人类反馈的强化学习）和 DPO（直接偏好优化）等技术63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1044463

API

curl https://kongchang.com/api/v1/knowledge/claims/1044463

MCP

get_claim(id=1044463)