大batch反而学得慢？RLVR「双时钟」框架揭示批大小与学习率缩放真相

在强化学习可验证奖励（RLVR）的训练实践中，一个被广泛采用的直觉是：增大 rollout batch size，同时将学习率按平方根规则同步放大，就能在保持「每样本进度」的前提下加速训练。但一项新的理论研究对这个经验法则提出了挑战——更大的 batch 不仅可能学得更慢，还会在可预测的时间点遭遇性能崩溃。

双时钟框架：把「进步」和「崩溃」分开看

RLVR 依赖昂贵的模型生成响应，这直接催生了「更大 rollout batch + 平方根学习率缩放」这套组合拳。在单步优化器的理想假设下，平方根规则被报告为大致能保持每样本的进度。但一旦进入实际的多步训练，这套规则的表现就变得难以捉摸。

研究者提出了一个「双时钟」（two-clock）框架，把训练过程拆成两条独立的计时线：一条衡量「取得进展需要多少样本」，另一条衡量「消耗多少样本后模型会崩溃」。这个拆分的关键洞察在于——平方根规则只保住了每样本的一阶漂移，却没有保住真正的「进展」。

在局部二次模型下，更大的 batch 意味着更少但更长的更新步，每一步在曲率上的损失更大。这导致存在一个依赖学习率的临界批大小（critical batch），超过这个阈值，样本效率就会下降。

RLVR（Reinforcement Learning with Verifiable Rewards） 指奖励信号来自可程序化验证的答案正确性（如数学题的标准答案、代码的单测通过与否）的强化学习范式。相比依赖人类偏好或奖励模型打分的 RLHF，RLVR 的奖励判定几乎零噪声、零成本，因此被广泛用于数学推理、代码生成等任务。它的代价在于奖励是稀疏且二值的——只有当整个推理链最终导向正确答案时才能拿到正反馈，这迫使训练必须依赖大量的 rollout 采样来获得有效的梯度信号，也让 rollout 的计算开销成为整个训练流程的瓶颈。正是这一成本结构，催生了「用更大 batch 摊薄生成开销、再同步放大学习率」的工程直觉。

平方根学习率缩放（square-root scaling rule） 是一条源自随机优化的经验法则：当 batch size 增大 $k$ 倍时，把学习率乘以 $\sqrt{k}$。其理论依据是，梯度下降中由小批量噪声引起的参数方差与学习率平方成正比，而噪声幅度又随 batch 增大而按 $1/\sqrt{k}$ 缩小，因此让学习率按 $\sqrt{k}$ 放大恰好能维持梯度的信噪比不变。在单步更新的理想模型下，这被认为能让「每样本进度」保持不变，即用更大的 batch 换取同等的进度、但更少的更新次数。本文的核心质疑正针对这一前提：该规则只锚定了一阶漂移量，并未锚定多步迭代累积后的真实收敛速度，也未约束模型在长时间训练中偏离初始区域多远——后者才是触发性能崩溃的关键量。

漂移阈值假说：失效时钟为何近似不变

如果进展时钟会随 batch 增大而变慢，那失效时钟呢？研究团队提出了「漂移阈值假说」，预测存在一个互补的失败时钟，其样本数在平方根规则下近似保持不变。

换句话说，当你在平方根规则的轨道上增大 batch 时，模型取得进步的速度在变慢，但触发崩溃所需的样本量却几乎不动。两条时钟的错位，正是「更大 batch 学得更慢却按时失败」这一反直觉现象的根源。

这一假说并非纸上谈兵。研究者在 Qwen2.5-Math-1.5B 上进行了受控的 GRPO 实验，批大小跨度达到 16 倍，结果支持了上述两个预测。

Ratio clipping（比率裁剪） 是 PPO/GRPO 类策略优化算法中的稳定化机制。它通过比较新旧策略在同一样本上的概率之比，把这一比值限制在 $[1-\epsilon, 1+\epsilon]$ 区间内（GRPO 中常见 $\epsilon=0.2$），从而限制单次更新对策略分布的改动幅度。其理论动机来自信赖域方法：策略更新过猛会导致重要性采样比偏离 1 太远，使得 off-policy 估计的方差爆炸、训练发散。裁剪的副作用是，一旦某样本的比率被截断，其梯度贡献就不再反映真实的策略改进方向，可能造成优化停滞。本文中「放宽裁剪换取短暂加速」正是这一权衡的体现：边界越宽，单步可移动的距离越大，短期进度更快，但更快累积的漂移也让人更早撞上失效时钟。

实验证据：16 倍批大小范围内的验证

实验结果给出了几个值得注意的发现：

双预测均得到支持。 在 16 倍批大小范围内，进展差距和失效时钟的近似不变性都如理论所预测的那样出现。

Ratio clipping 的作用有限。 裁剪机制确实能推迟失效，对更大 batch 的效果尤其明显，但如果没有它，进展差距依然存在。这说明裁剪更像是一种「延缓剂」，而非根治方案。

放宽裁剪是双刃剑。 加宽裁剪边界会以稳定性为代价，换取一段短暂的加速。这种速度收益是暂时的，长期来看并不能解决根本问题。

跨设置可复现。 进展差距在另一个数据集、一个通用目的的 checkpoint、以及一个 7B 模型上都重新出现，表明这不是某个特定配置的偶然现象。

实践启示：先小后大的多步调度策略

基于双时钟框架，研究者推导出了一个简单实用的多步 RLVR 调度方案：从低于临界批大小开始训练，在失效到来之前切换到更大的 batch。

这个策略的思路很直接——利用小 batch 段获得更好的样本效率，在接近崩溃点之前主动升级到大批量以延缓失效。代码已在 GitHub 上开源（WinstonLiyt/two-clocks-rlvr）。

对于正在做 RLVR 训练的团队来说，这意味着盲目套用「大 batch + 平方根缩放」可能并不划算。理解进展时钟和失效时钟的相对位置，比单纯追求更大的 batch 更有价值。