熵非等同:RLVR中奖励条件熵分配新框架

新论文提出RCEA框架,拆解RLVR中全局熵的混合不确定性,指出失败轨迹熵更高且正确解模式收缩才是坍塌关键信号。
强化学习可验证奖励(RLVR)训练中,全局token熵常被用于诊断探索与坍塌,但其与推理性能缺乏稳定关联。论文指出,全局熵混合了失败轨迹的不确定性、正确解策略的多样性以及采样变异,导致熵高不一定代表探索充分。为此,作者提出奖励条件熵分配(RCEA)分层诊断框架,将轨迹熵与token熵拆开,并按验证器结果条件化。实验发现,验证器失败轨迹的token熵反而高于成功轨迹,全局熵被失败样本拉高;同时,所有训练端点的正确解模式广度均出现收缩,但与全局熵下降不同步。局部协方差近似能预测熵变化方向,非失败转移准确率达95.5%。论文结论是,熵坍塌应通过“移除了哪种不确定性”来诊断,而非依赖全局熵单一指标。
强化学习可验证奖励(RLVR)训练中,策略熵常被用来诊断探索与坍塌,但它的数值大小与推理性能之间并不存在稳定关联。一篇新论文指出,这种模糊性源于全局token熵混合了成功与失败轨迹的不确定性、正确解策略的多样性,以及同一策略不同实现间的变异。为此,作者提出奖励条件熵分配(RCEA),一个分层诊断框架,试图回答“熵到底在度量什么”以及“熵坍塌该看哪个部分”。

全局熵的盲区:为何熵高不等于探索好
在RLVR中,验证器给出二元结果,但策略熵却是对所有token求平均。论文认为,这种全局平均把三类不确定性混在一起:失败轨迹中的困惑、正确解内部的策略多样性,以及同一策略采样带来的随机波动。结果就是,不同优化目标下,熵的轨迹无法对推理准确率形成稳定排序——熵高不一定代表探索充分,熵低也不一定意味着坍塌。
RCEA的核心操作是把完整轨迹熵与平均token熵拆开,并按验证器结果和过程有效性对不确定性做条件化,同时测量正确解模式的保留程度。这样,熵不再是一个单一标量,而是一组可归因的量。
策略熵(Policy Entropy) 在强化学习中通常指策略输出动作分布(在语言模型中即下一个token的概率分布)的香农熵,衡量策略的随机性或不确定性。在RLVR场景下,所有token的熵被平均成一个全局标量,用以监控训练过程中的探索程度。然而,这种平均忽略了不同token在轨迹中的角色差异:有些token决定推理路径的关键分叉,有些则只是语法填充。全局熵因此无法区分“有意义的多样性”与“无意义的噪声”。
验证器(Verifier) 在RLVR中是一个外部程序(如数学答案检查器或代码执行器),对模型生成的完整轨迹给出二元奖励(正确/错误)。它不提供过程奖励,只判断最终结果,因此训练信号稀疏且延迟。这导致策略在不同轨迹上的不确定性来源复杂:失败轨迹可能因模型困惑而熵高,成功轨迹也可能因存在多种正确解法而保持一定熵值。
实验发现:失败轨迹的熵反而更高
作者在两种模型规模、六种RLVR目标上做了受控扫描。一个反直觉的结果是:在验证器失败的轨迹上,token熵高于成功轨迹。这一结论在宽泛的分组聚合估计和共同问题配对分析下都成立,后者的置信区间在展示的12个端点中有10个排除了相等假设。也就是说,失败样本往往携带更高的不确定性,全局熵被失败轨迹拉高,从而掩盖了成功解内部的真实多样性变化。
另一个发现来自局部协方差近似:它能预测相邻检查点间熵变化的方向,在非失败转移中准确率达到95.5%。奖励分层的端点代理进一步显示,正的选择token协方差在失败前缀内更集中于尾部。这为“熵变化由局部协方差驱动”提供了机制层面的线索。
局部协方差近似(Local Covariance Approximation) 是一种分析熵变化驱动因素的方法。它通过计算相邻检查点之间策略分布变化的协方差,来近似熵的瞬时变化方向。具体而言,熵的变化可以分解为策略更新与当前策略分布之间的协方差项;当该协方差为正时,熵倾向于增加,反之则减少。论文利用这一近似预测相邻检查点间熵变化的方向,在非失败转移中达到95.5%的准确率,说明熵的局部变化主要由策略更新的协方差结构决定,而非全局平均的随机波动。这为理解熵坍塌的机制提供了微观视角:熵的下降可能源于某些token位置协方差系统性为负,而非整体探索的均匀减少。
正确解模式收缩:更值得关注的坍塌信号
论文审计了所有可报告的已训练端点,发现正确解模式的广度都出现了某种收缩。也就是说,模型在训练中确实在丢失正确解的多样性,但这种收缩与全局熵的下降并不同步。作者谨慎地指出,正确解模式广度与大k覆盖之间的正关联仍是探索性的,需要更多验证。
这一观察直接挑战了“看熵曲线判断坍塌”的常见做法。如果正确解模式在收缩,而全局熵因为失败轨迹的高熵而保持平稳,那么仅凭熵值就会错过真正的退化信号。
正确解模式(Correct-Solution Modes) 指模型在给定问题上能够生成的所有不同正确解法的集合。在RLVR中,一个数学问题可能有多种正确解法(如不同证明路径或计算顺序),这些解法对应策略分布中的不同模式。论文通过聚类或多样性度量来估计正确解模式的广度(即模式数量或覆盖范围)。模式收缩意味着模型在训练中逐渐丢失部分正确解法,只保留少数甚至单一模式,这通常被视为策略坍塌的早期信号。与全局熵不同,正确解模式广度直接反映模型输出多样性的健康程度,且不受失败轨迹高熵的干扰。
诊断启示:关注移除了哪种不确定性
RCEA的实践含义是:熵坍塌不应由全局熵单独诊断,而应追问“哪种不确定性被移除了”。是失败轨迹的噪声被消除,还是正确解内部的策略多样性被压缩?前者可能是健康的学习,后者才是需要警惕的坍塌。
论文提出的分层框架把轨迹级熵、token级熵、验证器条件化不确定性和正确解模式保留度放在同一张诊断表中,并建立了它们与局部协方差更新的联系。对于RLVR的调参和监控,这意味着需要更细粒度的指标,而不是一条熵曲线。
局限与开放问题
作者明确将正确解模式广度与大k覆盖的关联标为探索性,样本覆盖两种模型规模和六种目标,结论的普适性仍需更广验证。局部协方差近似在非失败转移中表现良好,但失败转移中的行为尚未给出同等强度的证据。此外,RCEA作为诊断框架,并不直接提供新的训练目标,如何把分层熵信号转化为优化约束仍是开放问题。
总体来看,这项工作把“熵”从一个笼统的监控指标拆解为可归因的诊断量,提醒研究者在RLVR中谨慎解读熵轨迹。
相关推荐

Gemini 4 Neon 曝光:或成 Opus 5.5 有力竞争者
Hacker News 讨论帖指出 Gemini 4 Neon 看起来像 Opus 5.5 的竞争者。本文解读这一社区信号背后的产品定位、顶级模型竞争格局变化,以及对开发者模型选型策略的实际意义。

Claude Fable 5.2 独立创作短片《Fable》引热议
Hacker News 上出现由 Claude Fable 5.2 独立完成剧本、画面与导演的短片《Fable》,本文分析全流程 AI 创作的意义、社区反应及对内容创作者的启示。

Anthropic IPO定价:AI巨头上市信号
Anthropic 进行 IPO 定价的消息引发关注。本文分析这一动作对 AI 行业估值、商业化路径和竞争格局的潜在影响,并指出公开市场对 AI 公司的期待与挑战。