已验证75% 置信观点精确时间

RLHF依赖于人类评估者判断AI输出质量，当AI能力超越人类理解范围时该方法会失效

3

来源数

75%

置信度

长期有效

时效性

2026/8/21

首次发现

来源

OpenAI悄然解散灾难性风险团队，AI安全承诺再遭质疑

相关事实

待验证RLHF存在局限：人类评分者可能被模型讨好、难以评估超出自身理解范围的输出，这是可扩展监督研究试图解决的问题77% 相似待验证RLHF存在奖励黑客行为等根本性局限，当AI能力超越评估员水平时人类评估的可靠性也会下降77% 相似已验证宪法AI相比传统RLHF减少了对人类标注员的依赖，并使AI行为准则可解释、可审计74% 相似待验证RLHF优化的本质是输出在人类评估者眼中显得安全，而非模型真正理解某请求为何有害74% 相似已验证评估 AI 的数学能力应更关注其在分布外问题上的表现，而非基准测试高分72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/782660

API

curl https://kongchang.com/api/v1/knowledge/claims/782660

MCP

get_claim(id=782660)