R2S
一种面向智能体在线策略蒸馏的教师评分器修复方法，通过挖掘高分歧状态、教师接管与无奖励筛选、微调教师评分器，使逐词评分与长程行为对齐，无需环境奖励信号。
时间轴 (近 90 天)
R2S（Rollout-to-Scorer Distillation）方法的核心是在标准OPD之前，先对教师评分器进行修复，使其评分与教师接管行为对齐。
R2S流程分三步：1）从未训练的学生模型出发挖掘与教师分歧最大的状态；2）从这些状态运行教师接管，并用无奖励检查（共识或LLM评判）筛选接管片段；3）用筛选后的接管数据微调教师评分器，冻结后作为标准OPD的唯一评分器。
在三个环境、两种教师模型和四种学生模型组合的12个测试单元中，R2S在所有12个单元中均取得最优性能，平均成功率比每个单元的最佳基线高出12.8个百分点。
R2S在实验对比中与三种先进的智能体OPD方法进行比较，并全面超越这些基线。
R2S与以往通过课程学习、前缀回放或教师干预来缓解复合误差的方法不同，它直接修正评分信号本身，且全程无需环境奖励。
全部知识事实 (5)
R2S（Rollout-to-Scorer Distillation）方法的核心是在标准OPD之前，先对教师评分器进行修复，使其评分与教师接管行为对齐。
50%待验证R2S流程分三步：1）从未训练的学生模型出发挖掘与教师分歧最大的状态；2）从这些状态运行教师接管，并用无奖励检查（共识或LLM评判）筛选接管片段；3）用筛选后的接管数据微调教师评分器，冻结后作为标准OPD的唯一评分器。
50%待验证在三个环境、两种教师模型和四种学生模型组合的12个测试单元中，R2S在所有12个单元中均取得最优性能，平均成功率比每个单元的最佳基线高出12.8个百分点。
50%待验证R2S在实验对比中与三种先进的智能体OPD方法进行比较，并全面超越这些基线。
50%待验证R2S与以往通过课程学习、前缀回放或教师干预来缓解复合误差的方法不同，它直接修正评分信号本身，且全程无需环境奖励。
50%