WAS-PO
一种用于多奖励强化学习的策略优化方法，通过在优势加权求和前对优势进行ZCA白化，使权重语义与优化目标对齐，解决奖励相关性导致的权重扭曲问题。
时间轴 (近 90 天)
WAS-PO（Whitened Advantage Summation Policy Optimization）是一种多奖励强化学习方法，在归一化优势之后、加权求和之前，先用 Σ^{-1/2} 对优势做白化，使权重作用在去相关后的分量上。
WAS-PO 的理论分析表明，即使所有奖励权重均为正，白化后的聚合目标在某些原始奖励上的等效权重仍可能为负。
论文给出了一个精确的两奖励条件，在该条件下权重较轻的奖励在等效目标中会被反转。
论文给出了在训练过程中估计奖励相关矩阵 Σ 所引入误差的一个宽松上界。
WAS-PO 用批量级归一化替换了 GDPO 的逐提示归一化，但该改动与白化操作在实验中未被分离。
在工具调用任务上使用 Qwen2.5-1.5B-Instruct 进行实验，三奖励设置下 WAS-PO 在七个随机种子全部取得更高的平均训练奖励，幅度为 3.8%。
四奖励设置下，WAS-PO 在三个随机种子全部取得更高的平均训练奖励，幅度为 3.9%。
三奖励下 WAS-PO 的留出准确率略低于 GDPO（不显著）；四奖励下绝对低 0.03（仅评估了两个种子）。
在两奖励设置下，WAS-PO 的训练奖励低于 GDPO。
在一个数学任务设置中，两个奖励按构造几乎相同，WAS-PO 如符号条件所预测的那样压低了权重较轻的那个奖励。
全部知识事实 (10)
WAS-PO（Whitened Advantage Summation Policy Optimization）是一种多奖励强化学习方法，在归一化优势之后、加权求和之前，先用 Σ^{-1/2} 对优势做白化，使权重作用在去相关后的分量上。
50%待验证WAS-PO 的理论分析表明，即使所有奖励权重均为正，白化后的聚合目标在某些原始奖励上的等效权重仍可能为负。
50%待验证论文给出了一个精确的两奖励条件，在该条件下权重较轻的奖励在等效目标中会被反转。
50%待验证论文给出了在训练过程中估计奖励相关矩阵 Σ 所引入误差的一个宽松上界。
50%待验证WAS-PO 用批量级归一化替换了 GDPO 的逐提示归一化，但该改动与白化操作在实验中未被分离。
50%待验证在工具调用任务上使用 Qwen2.5-1.5B-Instruct 进行实验，三奖励设置下 WAS-PO 在七个随机种子全部取得更高的平均训练奖励，幅度为 3.8%。
50%待验证四奖励设置下，WAS-PO 在三个随机种子全部取得更高的平均训练奖励，幅度为 3.9%。
50%待验证三奖励下 WAS-PO 的留出准确率略低于 GDPO（不显著）；四奖励下绝对低 0.03（仅评估了两个种子）。
50%待验证在两奖励设置下，WAS-PO 的训练奖励低于 GDPO。
50%待验证在一个数学任务设置中，两个奖励按构造几乎相同，WAS-PO 如符号条件所预测的那样压低了权重较轻的那个奖励。
50%