[控场AI]
概念reward-free screening

无奖励筛选

在无环境奖励信号条件下,通过多次采样共识机制或LLM评判来过滤低质量教师接管轨迹的数据筛选方法,保持奖励免费特性。

时间轴 (近 90 天)

10月21日

R2S流程分三步:1)从未训练的学生模型出发挖掘与教师分歧最大的状态;2)从这些状态运行教师接管,并用无奖励检查(共识或LLM评判)筛选接管片段;3)用筛选后的接管数据微调教师评分器,冻结后作为标准OPD的唯一评分器。

待验证50%
10月21日

无奖励筛选采用共识机制(多次采样接管,保留结果一致的片段)或LLM评判(由大模型判断接管是否合理)来过滤低质量轨迹,整个过程不依赖任务成功信号。

待验证50%

全部知识事实 (2)

来源文章