[控场AI]
· 4 分钟阅读· 2,376 字

熵非等同:RLVR中奖励条件熵分配新框架

熵非等同:RLVR中奖励条件熵分配新框架

新论文提出RCEA框架,拆解RLVR中全局熵的混合不确定性,指出失败轨迹熵更高且正确解模式收缩才是坍塌关键信号。

强化学习可验证奖励(RLVR)训练中,全局token熵常被用于诊断探索与坍塌,但其与推理性能缺乏稳定关联。论文指出,全局熵混合了失败轨迹的不确定性、正确解策略的多样性以及采样变异,导致熵高不一定代表探索充分。为此,作者提出奖励条件熵分配(RCEA)分层诊断框架,将轨迹熵与token熵拆开,并按验证器结果条件化。实验发现,验证器失败轨迹的token熵反而高于成功轨迹,全局熵被失败样本拉高;同时,所有训练端点的正确解模式广度均出现收缩,但与全局熵下降不同步。局部协方差近似能预测熵变化方向,非失败转移准确率达95.5%。论文结论是,熵坍塌应通过“移除了哪种不确定性”来诊断,而非依赖全局熵单一指标。

强化学习可验证奖励(RLVR)训练中,策略熵常被用来诊断探索与坍塌,但它的数值大小与推理性能之间并不存在稳定关联。一篇新论文指出,这种模糊性源于全局token熵混合了成功与失败轨迹的不确定性、正确解策略的多样性,以及同一策略不同实现间的变异。为此,作者提出奖励条件熵分配(RCEA),一个分层诊断框架,试图回答“熵到底在度量什么”以及“熵坍塌该看哪个部分”。

RCEA框架示意图

全局熵的盲区:为何熵高不等于探索好

在RLVR中,验证器给出二元结果,但策略熵却是对所有token求平均。论文认为,这种全局平均把三类不确定性混在一起:失败轨迹中的困惑、正确解内部的策略多样性,以及同一策略采样带来的随机波动。结果就是,不同优化目标下,熵的轨迹无法对推理准确率形成稳定排序——熵高不一定代表探索充分,熵低也不一定意味着坍塌。

RCEA的核心操作是把完整轨迹熵与平均token熵拆开,并按验证器结果和过程有效性对不确定性做条件化,同时测量正确解模式的保留程度。这样,熵不再是一个单一标量,而是一组可归因的量。

策略熵(Policy Entropy) 在强化学习中通常指策略输出动作分布(在语言模型中即下一个token的概率分布)的香农熵,衡量策略的随机性或不确定性。在RLVR场景下,所有token的熵被平均成一个全局标量,用以监控训练过程中的探索程度。然而,这种平均忽略了不同token在轨迹中的角色差异:有些token决定推理路径的关键分叉,有些则只是语法填充。全局熵因此无法区分“有意义的多样性”与“无意义的噪声”。

验证器(Verifier) 在RLVR中是一个外部程序(如数学答案检查器或代码执行器),对模型生成的完整轨迹给出二元奖励(正确/错误)。它不提供过程奖励,只判断最终结果,因此训练信号稀疏且延迟。这导致策略在不同轨迹上的不确定性来源复杂:失败轨迹可能因模型困惑而熵高,成功轨迹也可能因存在多种正确解法而保持一定熵值。

实验发现:失败轨迹的熵反而更高

作者在两种模型规模、六种RLVR目标上做了受控扫描。一个反直觉的结果是:在验证器失败的轨迹上,token熵高于成功轨迹。这一结论在宽泛的分组聚合估计和共同问题配对分析下都成立,后者的置信区间在展示的12个端点中有10个排除了相等假设。也就是说,失败样本往往携带更高的不确定性,全局熵被失败轨迹拉高,从而掩盖了成功解内部的真实多样性变化。

另一个发现来自局部协方差近似:它能预测相邻检查点间熵变化的方向,在非失败转移中准确率达到95.5%。奖励分层的端点代理进一步显示,正的选择token协方差在失败前缀内更集中于尾部。这为“熵变化由局部协方差驱动”提供了机制层面的线索。

局部协方差近似(Local Covariance Approximation) 是一种分析熵变化驱动因素的方法。它通过计算相邻检查点之间策略分布变化的协方差,来近似熵的瞬时变化方向。具体而言,熵的变化可以分解为策略更新与当前策略分布之间的协方差项;当该协方差为正时,熵倾向于增加,反之则减少。论文利用这一近似预测相邻检查点间熵变化的方向,在非失败转移中达到95.5%的准确率,说明熵的局部变化主要由策略更新的协方差结构决定,而非全局平均的随机波动。这为理解熵坍塌的机制提供了微观视角:熵的下降可能源于某些token位置协方差系统性为负,而非整体探索的均匀减少。

正确解模式收缩:更值得关注的坍塌信号

论文审计了所有可报告的已训练端点,发现正确解模式的广度都出现了某种收缩。也就是说,模型在训练中确实在丢失正确解的多样性,但这种收缩与全局熵的下降并不同步。作者谨慎地指出,正确解模式广度与大k覆盖之间的正关联仍是探索性的,需要更多验证。

这一观察直接挑战了“看熵曲线判断坍塌”的常见做法。如果正确解模式在收缩,而全局熵因为失败轨迹的高熵而保持平稳,那么仅凭熵值就会错过真正的退化信号。

正确解模式(Correct-Solution Modes) 指模型在给定问题上能够生成的所有不同正确解法的集合。在RLVR中,一个数学问题可能有多种正确解法(如不同证明路径或计算顺序),这些解法对应策略分布中的不同模式。论文通过聚类或多样性度量来估计正确解模式的广度(即模式数量或覆盖范围)。模式收缩意味着模型在训练中逐渐丢失部分正确解法,只保留少数甚至单一模式,这通常被视为策略坍塌的早期信号。与全局熵不同,正确解模式广度直接反映模型输出多样性的健康程度,且不受失败轨迹高熵的干扰。

诊断启示:关注移除了哪种不确定性

RCEA的实践含义是:熵坍塌不应由全局熵单独诊断,而应追问“哪种不确定性被移除了”。是失败轨迹的噪声被消除,还是正确解内部的策略多样性被压缩?前者可能是健康的学习,后者才是需要警惕的坍塌。

论文提出的分层框架把轨迹级熵、token级熵、验证器条件化不确定性和正确解模式保留度放在同一张诊断表中,并建立了它们与局部协方差更新的联系。对于RLVR的调参和监控,这意味着需要更细粒度的指标,而不是一条熵曲线。

局限与开放问题

作者明确将正确解模式广度与大k覆盖的关联标为探索性,样本覆盖两种模型规模和六种目标,结论的普适性仍需更广验证。局部协方差近似在非失败转移中表现良好,但失败转移中的行为尚未给出同等强度的证据。此外,RCEA作为诊断框架,并不直接提供新的训练目标,如何把分层熵信号转化为优化约束仍是开放问题。

总体来看,这项工作把“熵”从一个笼统的监控指标拆解为可归因的诊断量,提醒研究者在RLVR中谨慎解读熵轨迹。

#RLVR#策略熵#奖励条件熵分配#RCEA#熵坍塌#强化学习可验证奖励#推理模型训练
分享:

相关推荐