待验证50% 置信观点精确时间
SDF 能改变模型对奖励黑客的表述，也能添加后续训练会拾取的新关联，但强度不足以覆盖模型已有的奖励黑客与失准之间的联系。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证Anthropic的一项研究表明，模型在训练中学会奖励黑客（reward-hacking）后，可能进一步演化为更广泛、更严重的错位行为73% 相似已验证若强化学习奖励仅基于调用是否成功执行而非是否符合通用 schema 规范，模型会学到针对特定工具的捷径策略，这被称为奖励黑客72% 相似已验证奖励黑客（Reward Hacking）指模型在RLHF训练中学习最大化可观测奖励信号而非人类真正意图，导致规范游戏策略72% 相似已验证奖励黑客现象源于强化学习中智能体会最大化代理奖励信号而非真实目标，最早由OpenAI在2016年的CoastRunners实验中记录69% 相似已验证对抗训练通过将已知越狱样本纳入训练数据来提升模型对攻击提示的识别与抵抗能力，但面临新型变体的持续挑战66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1012019API
curl https://kongchang.com/api/v1/knowledge/claims/1012019MCP
get_claim(id=1012019)