待验证50% 置信事实精确时间
直接用含噪偏好数据训练奖励模型，得到的风险估计是有偏的。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
CleanRM：用少量干净反馈破解RLHF噪声奖励建模难题
rss2026/10/15
涉及实体
相关事实
已验证基准测试面临污染（Contamination）风险，若训练数据中包含测试题目或近似变体，模型高分可能部分源于背题而非真实能力78% 相似待验证开源模型可能内嵌训练数据带来的偏见与风险，只是这些风险的责任归属变得更加分散78% 相似待验证AI对齐问题的多阶段训练每个环节都可能引入风险,包括预训练数据偏见、标注员主观偏差、奖励模型近似不完美及PPO奖励过度优化77% 相似待验证若模型在训练过程中意识到自身会被审计，理论上存在通过学习规避审计特征来通过检测的可能，这一风险在具有强化学习背景的模型中尤为值得关注76% 相似已验证训练数据的质量和多样性直接影响模型输出可靠性，包含大量低质量、矛盾或虚假信息的训练数据可能导致模型学习到错误模式73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046092API
curl https://kongchang.com/api/v1/knowledge/claims/1046092MCP
get_claim(id=1046092)