待验证50% 置信事实精确时间
RLHF存在局限：人类评分者可能被模型讨好、难以评估超出自身理解范围的输出，这是可扩展监督研究试图解决的问题
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证RLHF中人类评审倾向给流畅自信全面的答案更高分而较少关注事实核查，导致模型获得隐性激励表现得有把握比实际有把握更重要80% 相似已验证RLHF依赖于人类评估者判断AI输出质量，当AI能力超越人类理解范围时该方法会失效77% 相似待验证RLHF对齐存在'过度对齐'问题，模型在完全无害的场景下也会过度谨慎，频繁拒绝正常的创意写作和角色扮演请求73% 相似待验证RLHF存在奖励黑客行为等根本性局限，当AI能力超越评估员水平时人类评估的可靠性也会下降71% 相似待验证当模型能力超越人类评估者判断能力时如何验证对齐是否成功的问题被称为可扩展监督（Scalable Oversight）问题70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/905452API
curl https://kongchang.com/api/v1/knowledge/claims/905452MCP
get_claim(id=905452)