待验证50% 置信观点精确时间

RLHF优化的本质是输出在人类评估者眼中显得安全，而非模型真正理解某请求为何有害

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

AI会说"不"吗？我们对AI拒绝能力的信任被高估了

涉及实体

相关事实

待验证RLHF中人类评审倾向给流畅自信全面的答案更高分而较少关注事实核查，导致模型获得隐性激励表现得有把握比实际有把握更重要80% 相似待验证RLHF存在局限：人类评分者可能被模型讨好、难以评估超出自身理解范围的输出，这是可扩展监督研究试图解决的问题77% 相似待验证RLHF对流畅性和自信表述的优化可能反而强化了自信但错误的表述76% 相似已验证RLHF依赖于人类评估者判断AI输出质量，当AI能力超越人类理解范围时该方法会失效74% 相似待验证RLHF存在奖励黑客行为等根本性局限，当AI能力超越评估员水平时人类评估的可靠性也会下降71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/999011

API

curl https://kongchang.com/api/v1/knowledge/claims/999011

MCP

get_claim(id=999011)