待验证50% 置信事实精确时间

RLHF存在奖励黑客行为等根本性局限，当AI能力超越评估员水平时人类评估的可靠性也会下降

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

以人为本的AI未来：Thinking Machines Lab的人本主义技术哲学

相关事实

待验证RLHF依赖于人类评估者判断AI输出质量，当AI能力超越人类理解范围时该方法会失效77% 相似待验证短绳法存在效率与控制的权衡：如果每一步都需要人工审查，AI带来的效率提升可能被打折扣68% 相似待验证模型优化测量指标本身而非其代表的真实能力的现象在AI安全领域被称为规格博弈（Specification Gaming）或奖励黑客（Reward Hacking）68% 相似待验证奖励黑客问题不会随模型能力提升而自然消失，反而因模型规划能力增强而愈发难以防范68% 相似待验证对于控制流平坦化等高级混淆保护手段，AI的分析能力可能大打折扣67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/539006

API

curl https://kongchang.com/api/v1/knowledge/claims/539006

MCP

get_claim(id=539006)