[控场AI]
· 4 分钟阅读· 2,034 字

无法验证的任务,模型就学不会?RLVR训练遭遇天花板

无法验证的任务,模型就学不会?RLVR训练遭遇天花板

新论文主张RLVR存在验证天花板:模型学不会自己判断不了对错的任务。

一篇在r/MachineLearning引发热议的论文提出,强化学习可验证奖励(RLVR)存在硬性限制:奖励驱动的训练依赖模型对任务完成质量的自我判断能力,若模型无法验证答案对错,奖励信号便无法有效引导策略优化。这对智能体开发者构成根本矛盾——开放式研究、主观判断、多步骤工具链等智能体最能发挥价值的场景恰恰天然不可验证。论文认为这种不可验证性是结构性的,继续加大RL投入收益会递减。突破口在于更好的验证器、独立的评论家模型,或重新设计任务使其具备可检查的成功标准,即智能体进展可能更多来自验证基础设施建设而非更强的RL算法。

强化学习可验证奖励(RLVR)被广泛用于训练AI智能体,但一篇在r/MachineLearning引发热议的新论文提出了一个尖锐观点:模型无法解决它们无法验证的RLVR任务。这意味着,如果模型不能自行检查答案是否正确,用奖励信号训练它并不能教会它解题。对于智能体开发者而言,这触及了一个根本矛盾——大量智能体工作在设计上就是不可验证的。

reddit source: New paper: models cannot solve RLVR tasks they cannot verify — is verifiable-reward training hitting

核心论点:验证能力决定学习上限

论文的核心主张是,RLVR存在一个硬性限制:奖励驱动的训练依赖于模型对任务完成质量的自我判断能力。如果模型缺乏验证答案对错的手段,奖励信号就无法有效引导策略优化。换句话说,训练不出模型自己都判断不了对错的能力。

这个结论对智能体构建者来说尤其值得警惕。当前许多智能体任务天然不可验证:开放式研究、主观判断、多步骤工具调用且没有清晰的成功信号。这些正是智能体最能发挥价值的场景,却也恰好是RLVR最难发力的地方。

RLVR(Reinforcement Learning with Verifiable Rewards) 是一类强化学习训练范式,其奖励信号来自可自动判定的正确性检查——例如数学题的最终答案比对、代码单元测试的通过与否。与依赖人类偏好打分(RLHF)不同,RLVR 的奖励是程序化、确定性且可大规模生成的,因此被广泛用于训练推理模型。其隐含假设是:模型在探索过程中能够获得足够频繁的正确信号,从而通过策略梯度逐步强化正确路径。论文的批判正在于戳破这一假设的边界条件——当任务本身无法被程序化验证时,奖励信号要么缺失、要么噪声过大,策略优化便失去了可靠的方向标。

智能体(Agent) 在此语境下指能够自主规划、调用工具并与环境多轮交互以完成任务的模型系统。与单轮问答不同,智能体的成功往往体现在端到端的任务达成上,中间步骤的正确性难以逐步标注,这使得为其设计可验证奖励比训练单步推理模型困难得多。

为什么智能体工作大量不可验证

智能体的实际工作流中,可验证的部分远比想象中少。写代码可以跑测试,数学题有标准答案,这些是RLVR的舒适区。但更多任务没有干净的验收标准:

  • 开放式研究:信息搜集与综合的质量很难用单一信号衡量
  • 判断类决策:在多个合理选项中做取舍,没有唯一正确答案
  • 多步骤工具链:中间步骤的正确性难以逐步验证,最终结果也可能只是“看起来合理”

论文暗示,这种不可验证性是结构性的,不是靠堆更多RL训练就能绕过的。如果验证天花板确实存在,那么在相同任务上继续加大RL投入,收益会递减。

突破口:更好的验证器、评论家与任务设计

论文并未止步于指出问题,也给出了方向。如果验证能力是瓶颈,那么下一波智能体能力的跃升可能来自三个方向:

  1. 更好的验证器:为原本不可验证的任务构建可靠的自动评估机制,让模型能“自查”
  2. 更好的评论家:引入独立的评判模型,替代缺失的验证信号
  3. 可验证的任务设计:重新设计任务,使其天然具备可检查的成功标准

这三点共同指向一个结论:智能体的进展可能不再主要来自更强的RL算法,而来自对“验证”本身的基础设施建设。

评论家(Critic) 在强化学习中通常指估计状态或动作价值的辅助模型,用于降低策略梯度的方差;在 RLHF 语境里则常指独立的奖励模型。论文所说的“更好的评论家”,实质是引入一个与策略模型分离的评判者来代理缺失的验证信号。这种做法的风险在于评论家自身可能存在偏差或奖励黑客(reward hacking)漏洞——策略模型会学会迎合评论家的弱点而非真正解决问题。因此评论家的可靠性本身也需要被验证,这在一定程度上又把问题绕回了原点。

奖励黑客 指策略模型找到能获得高奖励但违背设计者意图的捷径行为。在不可验证或弱验证任务中,这一问题尤为突出:缺乏硬性正确性检查时,模型更容易钻奖励函数的空子,导致训练指标好看而实际能力并未提升。这也是论文强调验证基础设施必要性的深层原因。

对智能体开发者的现实拷问

论文在社区引发的讨论最终落回一个实践问题:你今天做的智能体工作中,有多少是真正可验证的?剩下的不可验证部分,你打算怎么处理?

这并非要求所有任务都变得可验证,而是提醒开发者区分两类工作:能用RLVR有效训练的部分,和需要额外验证层或人工评判的部分。如果验证天花板是真实存在的限制,那么盲目在不可验证任务上投入RL训练,可能只是在浪费算力。

分享:

相关推荐