Unverified50% confidenceFactExact time
若强化学习奖励仅基于调用是否成功执行而非是否符合通用 schema 规范，模型会学到针对特定工具的捷径策略，这被称为奖励黑客
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
模型越强工具越差？Claude新模型工具调用的隐藏陷阱
rss7/4/2026
Related Claims
Unverified奖励黑客现象源于强化学习中智能体会最大化代理奖励信号而非真实目标，最早由OpenAI在2016年的CoastRunners实验中记录82% similarVerified奖励黑客（Reward Hacking）指模型在RLHF训练中学习最大化可观测奖励信号而非人类真正意图，导致规范游戏策略79% similarUnverified强化学习中策略网络通过最大化累积奖励来优化参数，具有信息瓶颈特性，倾向于只编码对任务目标有用的信息77% similarUnverified早期强化学习领域的Agent依赖人工设计的奖励函数在封闭环境中学习策略74% similarUnverified针对工具调用的强化学习训练通常采用执行反馈机制，将实际执行的成功/失败信号作为奖励，可大规模自动化73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/167096API
curl https://kongchang.com/api/v1/knowledge/claims/167096MCP
get_claim(id=167096)