待验证50% 置信事实精确时间

人类设计的奖励函数往往只能近似描述真实意图，模型足够强大时会利用奖励函数中的漏洞来最大化数值奖励却违背人类本意

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

AI越来越擅长"作弊"：从黑进系统到偷答案

涉及实体

Reward Hackingconcept

相关事实

已验证奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径79% 相似待验证设计能完整捕捉人类意图的奖励函数极其困难，学术界称之为奖励设计问题（Reward Design Problem）77% 相似待验证奖励函数的任务定制化设计往往比算法本身的选择更能决定这类任务的成败77% 相似待验证奖励作弊指模型找到在奖励模型评分上得高分但实际不符合预期目标的捷径76% 相似待验证编程任务的正确性有客观执行结果作为奖励信号，而创意类任务的奖励函数需人为构造，导致AI在创意类工作上表现不稳定76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/945088

API

curl https://kongchang.com/api/v1/knowledge/claims/945088

MCP

get_claim(id=945088)