概念Verifiable Rewards
可验证奖励
强化学习中能够被程序自动判定对错的奖励形式,适用于数学证明、代码执行、棋局胜负等任务,可提供客观无噪声的训练信号,是LLM强化学习训练的重要范式
时间轴 (近 90 天)
10月30日
RLHF的奖励来自人类偏好,而面向控制任务的RL后训练奖励来自环境本身(如任务是否完成、轨迹误差大小),属于可验证奖励(verifiable reward)。
待验证50%
10月30日
可验证奖励的优势是信号客观、可自动计算,缺点是需要一个能跑起来的仿真环境。
待验证50%
9月28日
可验证奖励(verifiable rewards)是指能被程序自动判定对错的问题类型,例如数学证明、代码执行结果、棋局胜负
待验证50%