已验证75% 置信事实时间未知
传统RLHF方法存在「奖励黑客」的根本性局限，模型可能学会在评估场景中表现良好却在分布外场景中失效
3
来源数
75%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
Anthropic最新研究：教会Claude理解「为什么」，彻底消除AI勒索行为
twitterAnthropicAI
涉及实体
相关事实
待验证RLHF 的主要挑战包括人工标注成本高昂、奖励模型可能被欺骗（reward hacking）、流程复杂难以复现75% 相似待验证RLHF存在奖励过优化（reward over-optimization）风险，模型可能学会取悦人类标注者的表面偏好而非真正提升准确性或安全性75% 相似待验证经过RLHF训练的模型在面对精心设计的越狱提示时往往能够绕过安全防护输出有害内容75% 相似待验证当前主流对齐技术如RLHF往往与模型能力提升深度绑定，使得只修对齐不提升能力在技术上可能无法严格实现72% 相似待验证如何在RLHF的奖励机制中同时保留流畅性和安全性，是各大实验室正在持续探索的难题71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/12262API
curl https://kongchang.com/api/v1/knowledge/claims/12262MCP
get_claim(id=12262)