密度感知奖励缩放：让强化学习采样更均衡

强化学习在追求高回报时，容易将概率质量集中到少数高奖励结果上，导致多样性丢失。最近提出的密度感知奖励缩放（Density-Aware Reward Scaling, DARS）试图在不改动策略梯度框架的前提下，让采样结果更接近奖励比例分布。

核心问题：奖励最大化与多样性的矛盾

标准强化学习目标最大化期望回报，这会让策略倾向于反复输出已知的高奖励样本。当存在多个不同但同样优秀的解时，这种机制会抑制探索，造成模式坍塌。原文指出，DARS 正是为了解决连续结果空间中奖励比例采样的问题而设计——它保留标准策略梯度训练，仅对奖励信号做处理。

模式坍塌（Mode Collapse） 是生成模型与强化学习中的一个经典失效现象：当目标分布本身具有多个峰（多模态）时，优化过程只覆盖其中一个或少数几个峰，而完全丢弃其余同样高概率的区域。在强化学习中，它通常源于策略对期望回报的贪婪最大化——一旦某个动作或输出被确认能带来高奖励，策略梯度就会持续放大其概率，使采样分布迅速收缩为尖峰。

与之相对，奖励比例采样（reward-proportional sampling） 要求采样某结果 x 的概率正比于其奖励 r(x)，即 p(x) ∝ r(x)。这一目标天然保留了所有高奖励解的相对权重，而不会只挑出最大的那个。DARS 所要解决的，正是在连续结果空间（输出为向量或图像，而非离散动作）中实现这一采样分布，同时不破坏标准策略梯度的训练流程。

DARS 如何工作：用局部密度反向缩放奖励

DARS 的关键步骤是在每个 on-policy rollout 组内估计结果的局部密度，然后按密度对奖励进行反向缩放。密度高的区域（即常见结果）奖励被压低，密度低的区域（即罕见结果）奖励被相对提升。这样，采样过程自然向奖励比例分布靠拢。

该方法的设计非常轻量：不需要学习密度模型，不需要辅助目标，不需要 critic，也不修改底层的策略梯度目标。原文强调，DARS 只是一个奖励处理机制，可以无缝嵌入现有强化学习流程。

On-policy rollout 组 指每一轮训练中，用当前策略对同一提示或状态采样得到的一批结果（例如同一 prompt 生成的多张图像）。由于它们全部来自当前策略，这组样本近似服从当前输出分布，因此可以当作该分布的局部经验样本，用来估计密度而无需额外训练密度模型。

局部密度估计 通常借助样本间的距离或核函数完成：某结果附近同类样本越密集，说明当前策略越倾向生成它，其密度值越高。DARS 用该密度对奖励做反向缩放（如 r/d 或 r·f(1/d)），等价于对常见结果施加惩罚、对罕见结果给予补偿。这种基于组内相对密度的做法属于非参数估计，成本低但精度受组大小影响——组越小，密度估计的方差越大，这也是其在高维任务中需要关注的实际限制。

实验验证：从多模态导航到文本到图像

在受控的多模态导航任务中，DARS-GRPO 避免了 GRPO 表现出的单模式坍塌，并较好地恢复了目标模式分配。在文本到图像提示适配任务上，DARS-GRPO 在不同数据集、策略语言模型和奖励设置下都能持续提升图像和提示的多样性，同时保持良好的语义对齐。

这些结果说明，密度感知奖励缩放为现有强化学习流水线提供了一种轻量级手段，用以改善对多样高奖励结果的覆盖。

GRPO（Group Relative Policy Optimization） 是一种无需 critic 的策略梯度变体：它对同一提示采样一组输出，用组内奖励的均值与标准差对奖励做归一化，得到相对优势，再据此更新策略。由于完全依赖组内比较，GRPO 对奖励的绝对尺度不敏感，实现简单，被广泛用于大语言模型与扩散模型的偏好对齐。

也正因如此，GRPO 的组内归一化只关心相对排名，容易把概率质量推向组内最优的那一类输出，加剧模式坍塌。DARS 作为奖励处理层可以直接叠加在 GRPO 之上（即 DARS-GRPO）：先按密度反向缩放奖励，再交给 GRPO 做组内归一化，从而在不改动其目标函数的情况下引入多样性约束。

意义与局限

DARS 的价值在于它不引入额外模型或复杂目标，仅通过奖励缩放就改善了多样性。不过，原文未讨论该方法在高维复杂任务中的计算开销和密度估计的准确性，这些可能是实际应用时需要关注的点。