概念reward-free screening
无奖励筛选
在无环境奖励信号条件下,通过多次采样共识机制或LLM评判来过滤低质量教师接管轨迹的数据筛选方法,保持奖励免费特性。
时间轴 (近 90 天)
10月21日
R2S流程分三步:1)从未训练的学生模型出发挖掘与教师分歧最大的状态;2)从这些状态运行教师接管,并用无奖励检查(共识或LLM评判)筛选接管片段;3)用筛选后的接管数据微调教师评分器,冻结后作为标准OPD的唯一评分器。
待验证50%
10月21日
无奖励筛选采用共识机制(多次采样接管,保留结果一致的片段)或LLM评判(由大模型判断接管是否合理)来过滤低质量轨迹,整个过程不依赖任务成功信号。
待验证50%