待验证50% 置信事实精确时间
WAS-PO（Whitened Advantage Summation Policy Optimization）是一种多奖励强化学习方法，在归一化优势之后、加权求和之前，先用 Σ^{-1/2} 对优势做白化，使权重作用在去相关后的分量上。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
WAS-PO：用白化优势解决多奖励强化学习的相关性陷阱
rss2026/11/2
涉及实体
相关事实
待验证DPO 通过数学变换将「奖励最大化 + KL 约束」的目标等价改写为一个简单的分类损失，无需奖励模型和强化学习循环，仅用监督学习即可完成对齐。61% 相似待验证得分匹配是训练扩散模型的核心技术之一，得分函数定义为对数概率密度的梯度 ∇_x log p_t(x)。58% 相似待验证直接偏好优化（DPO）表明，在特定奖励结构下，RL目标可以等价地转化为对某种目标分布的似然最大化，从而绕开显式的奖励模型和策略梯度。58% 相似已验证DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型58% 相似待验证MoPD（模型参数扩散/合并）是一种将轻量专项模型的能力注入主模型的技术，可在不重新全量训练的情况下迁移教师模型习得的行为偏好58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130531API
curl https://kongchang.com/api/v1/knowledge/claims/1130531MCP
get_claim(id=1130531)