RLVR中动量何时有效？理论与实验揭示EMA系数选择原则

被质疑的动量：RLVR中的经验矛盾

动量法是加速凸优化的经典工具，也是现代大语言模型训练的标准组件。然而，近期多项实证工作对一阶动量在**可验证奖励的强化学习（RLVR）**中的实际效用提出了质疑。这种矛盾并非空穴来风——RLVR的优化景观与监督学习存在本质差异：奖励信号稀疏且离散，梯度估计来自采样响应，方差显著高于传统训练场景。

那么，动量究竟在什么条件下才能真正加速RLVR？一项新研究通过bandit简化模型给出了理论答案，并在Qwen系列模型上完成了验证。

RLVR（Reinforcement Learning with Verifiable Rewards） 是近年来大语言模型后训练的主流范式，其核心特征是奖励信号可被程序化验证，而非依赖人工标注或奖励模型打分。典型任务包括数学推理（答案可对数）、代码生成（单元测试可运行）和逻辑推理题（结果可校验）。由于奖励是离散且稀疏的——整条响应序列通常只在末尾获得一个0/1或分级信号——策略梯度的估计必须依赖对同一prompt的多次采样，导致方差远高于监督学习中基于密集标注的梯度。此外，RLVR中常用的算法如GRPO（Group Relative Policy Optimization）通过组内响应归一化来构造相对优势，进一步改变了梯度的统计结构。理解这些特性，是理解动量在RLVR中行为为何不同于传统监督训练的前提。

理论框架：偏差校正EMA动量的bandit分析

研究者将RLVR形式化为bandit问题，采用偏差校正的指数移动平均（EMA）动量。其中系数 $\beta$ 控制过去梯度权重的衰减速度——$\beta$ 越大，历史信息保留越多；$\beta=0$ 则退化为纯SGD。

理论分析揭示了一个关键分界：

精确梯度场景：增大β严格加速

当策略梯度可以精确计算时，研究者证明：在避免过冲的范围内，增大 $\beta$ 会严格加速优化过程。这符合直觉——精确梯度下，历史信息的累积有助于平滑优化路径，降低方差。

采样梯度场景：噪声掩盖增益

RLVR的真实场景中，梯度必须从采样响应中估计。此时情况变得微妙：正期望增益可能被采样波动掩盖。理论表明，当学习率 $\eta$ 减小时，固定 $\beta$ 下的期望增益消失速度快于波动本身——这意味着小学习率下动量的好处被噪声吞噬。

但关键洞察在于：如果同步增大 $\beta$ 以保持 $\eta/(1-\beta)$ 在安全范围内，则非消失的增益最终会主导采样噪声。这给出了一个可操作的原则：学习率与动量系数必须协同调整，而非独立选择。

Bandit简化模型 在强化学习理论分析中被广泛采用，其思路是将序列决策问题退化为单步动作选择，从而剥离长期信用分配带来的复杂度，聚焦于梯度估计本身的统计性质。在bandit设定下，策略梯度的计算不涉及环境状态转移，每轮仅需对动作分布采样并计算即时奖励的梯度，数学上等价于一个参数化的多臂老虎机。这一简化与RLVR的关联在于：当LLM的每一条响应仅获得终局奖励、且响应内部不存在中间奖励时，策略梯度估计的噪声结构确实与bandit高度相似。该模型的局限也很明显——它忽略了响应长度带来的时序相关性、token级的重要性采样修正以及值函数近似引入的偏差，因此理论结论向完整RLVR场景的推广需要实验验证来兜底。

实验验证：从bandit到Qwen3/Qwen2.5

Bandit仿真：定量匹配理论预测

研究者在bandit设置下进行了仿真实验，结果定量验证了上述理论预测。$\eta/(1-\beta)$ 保持恒定的配置确实展现出持续优势，而固定 $\beta$ 配合减小的 $\eta$ 则出现增益消失。

Qwen3-4B-Base：SGD+EMA与AdamW对比

在Qwen3-4B-Base上的RLVR实验进一步支持了理论原则。使用SGD+EMA和AdamW两种优化器时，选择较大动量系数的配置均表现出优势。这验证了理论预测在实际LLM后训练中的适用性。

Qwen2.5-32B：简单的β₁调整带来近2个百分点提升

最具说服力的结果来自更大规模的Qwen2.5-32B模型。仅将AdamW的一阶动量系数 $\beta_1$ 从常规值增大，就在平均验证准确率上带来了近2个百分点的提升。这一改进无需修改任何其他超参数，说明动量系数的选择在RLVR中可能被长期低估。

AdamW的β₁ 是Adam系列优化器中的一阶矩衰减率，默认值通常为0.9，控制梯度一阶梯度的指数移动平均窗口。β₁越大，历史梯度方向被保留得越久，优化轨迹越平滑，但响应新梯度信号的速度也越慢；β₁越小则优化器行为越接近带自适应步长的SGD。在监督学习中长期使用0.9是因为训练数据平稳、梯度信号稠密，无需过度平滑。但RLVR的梯度由采样估计、噪声大且非平稳，更大的β₁能更有效地平均掉采样波动。值得注意的是，β₁与学习率之间存在耦合：AdamW的有效步长近似正比于η/(1-β₁)，因此单纯增大β₁相当于隐式放大了有效学习率。这一耦合关系正是原文强调“协同调整”的技术根源，也解释了为什么仅调整β₁就能在不改动其他超参数的情况下带来收益。

实践启示：重新审视动量系数选择

这项工作的核心贡献在于为RLVR中的动量选择提供了理论指导和实验证据：

学习率与动量需协同设计。 传统做法中 $\beta$ 常作为固定超参数，但理论表明有效的“动量强度”由 $\eta/(1-\beta)$ 共同决定。单独增大 $\beta$ 而不调整 $\eta$ 可能适得其反。

小学习率场景下更需警惕。 当策略梯度估计噪声较大时，减小的 $\eta$ 会削弱动量增益。此时应同步增大 $\beta$ 以维持有效动量强度。

大模型上收益可观。 Qwen2.5-32B上近2个百分点的验证准确率提升，在RLVR后训练中属于显著改进，且实现成本极低——仅需调整一个超参数。

研究者同时指出，这一原则的适用边界仍需更多任务和模型规模上的验证。不同RLVR算法（如PPO、GRPO等）中动量与学习率的交互关系可能存在差异，值得进一步探索。

对于从事LLM后训练的工程师而言，这项工作的直接建议是：在RLVR调参时，不要孤立地看待 $\beta$。将 $\eta/(1-\beta)$ 作为一个整体来调节，可能比分别调参更有效——至少在bandit理论和Qwen系列模型的实验中，这一原则得到了验证。