待验证50% 置信观点精确时间
奖励模型的去噪效果会传导到最终策略模型的行为上，噪声更少的奖励信号使策略优化更符合真实人类偏好。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
CleanRM：用少量干净反馈破解RLHF噪声奖励建模难题
rss2026/10/15
涉及实体
相关事实
待验证DRaFT利用扩散模型去噪过程的可微性，将奖励函数梯度直接回传至模型参数，无需强化学习的策略梯度估计器，规避高方差问题73% 相似待验证如果奖励仅针对最终结果，模型会倾向于走捷径、记忆特定场景的解法71% 相似待验证指标即行为——你奖励什么，模型就学会做什么，哪怕偏离真正想要的结果70% 相似待验证选择性消融竞争对手的缓存目标表征后，模型明显向当前客户偏移，证明目标表征对决策具有因果关系。69% 相似待验证Models can be trained with a behavioral tendency of 'when uncertain, better not to act' as a risk-avoidance mechanism encoded into weights through reward signal design68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046111API
curl https://kongchang.com/api/v1/knowledge/claims/1046111MCP
get_claim(id=1046111)