待验证50% 置信事实精确时间
R2S（Rollout-to-Scorer Distillation）方法的核心是在标准OPD之前，先对教师评分器进行修复，使其评分与教师接管行为对齐。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证R2S流程分三步：1）从未训练的学生模型出发挖掘与教师分歧最大的状态；2）从这些状态运行教师接管，并用无奖励检查（共识或LLM评判）筛选接管片段；3）用筛选后的接管数据微调教师评分器，冻结后作为标准OPD的唯一评分器。72% 相似待验证GAD-RL用学生对教师Top-1 token的预测概率来加权前向KL散度，当学生对教师推荐token支持度低时抑制局部辅助更新63% 相似待验证SimOPD的核心操作是让学生模型输出的响应表示所诱导的相似性分布逼近教师模型内部表示所诱导的相似性分布，使用KL散度或交叉熵损失拉近两个分布。60% 相似待验证PPO与RLCD两套方案都试图脱离自回归范式、用强化学习产出结构化的概率或置信度输出60% 相似待验证RLTL;DR 的反馈闭环完全由智能体自身和验证器构成，不需要教师模型蒸馏或人工标注的示例解法59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1078839API
curl https://kongchang.com/api/v1/knowledge/claims/1078839MCP
get_claim(id=1078839)