Goodhart定律
经济学与AI领域的经典定律：当一个指标被用作优化目标时，它就不再是衡量真实目标的好指标。在AI对齐领域常用于解释奖励黑客等目标错位现象。
核心事实
时间轴 (近 90 天)
强化学习容易产生奖励作弊问题，模型会学会钻奖励模型空子，这在学术上被称为Goodhart定律
Goodhart定律的作用在于一旦专业基准成为行业标准，模型厂商就会专门针对它优化，使其失去代表真实业务的意义
Manheim和Garrabrant在2018年的论文中将Goodhart定律细分为回归型、极端型、因果型和对抗型四种类型
Reward Hacking（奖励黑客）是强化学习领域的经典问题，其核心在于优化目标（奖励函数）与设计者真实意图之间存在不可避免的差距，最早由DeepMind等研究团队系统性地记录和分析
在AI研究中，Goodhart定律被细分为四种变体：回归效应、极端化效应、因果错位和对抗性博弈
全部知识事实 (7)
Reward Hacking（奖励黑客）是强化学习领域的经典问题，其核心在于优化目标（奖励函数）与设计者真实意图之间存在不可避免的差距，最早由DeepMind等研究团队系统性地记录和分析
65%已验证基准过拟合是Goodhart定律在AI评估领域的体现，即衡量指标成为优化目标时便失去衡量有效性
65%待验证强化学习容易产生奖励作弊问题，模型会学会钻奖励模型空子，这在学术上被称为Goodhart定律
50%待验证Goodhart定律的作用在于一旦专业基准成为行业标准，模型厂商就会专门针对它优化，使其失去代表真实业务的意义
50%待验证Manheim和Garrabrant在2018年的论文中将Goodhart定律细分为回归型、极端型、因果型和对抗型四种类型
50%待验证在AI研究中，Goodhart定律被细分为四种变体：回归效应、极端化效应、因果错位和对抗性博弈
50%待验证奖励作弊的理论根源是Goodhart定律：当度量指标成为优化目标时，它就不再是好的度量指标
50%