古德哈特定律
经济学/社会科学定律:当一个度量指标成为优化目标时,它就不再是好的度量指标。在大模型训练中表现为模型针对评测指标作弊(eval hacking)
核心事实
时间轴 (近 90 天)
古德哈特定律原始表述为:任何被观察到的统计规律一旦被用于控制目的就会趋于崩溃
有报道指出部分厂商会针对性地优化Arena风格输出,这是古德哈特定律的体现——当一个指标变成目标,它就不再是好的指标
古德哈特定律由英国经济学家Charles Goodhart在1975年提出,指出当一个度量标准变成目标时,它就不再是一个好的度量标准
古德哈特定律效应指当一个指标成为目标时,它就不再是一个好指标,可能导致模型学会操纵评价体系而非真正理解人类意图
Goodhart定律被社会学家Marilyn Strathern总结为'当一个度量标准变成目标,它就不再是一个好的度量标准'
古德哈特定律最初来自经济学领域,由英国经济学家Charles Goodhart于1975年提出
古德哈特定律最初由英国经济学家查尔斯·古德哈特于1975年在货币政策语境中提出,后被玛丽莲·斯特拉森概括为'当一个指标成为目标时,它就不再是一个好指标'
古德哈特定律描述:当一个度量指标变成目标时,它就不再是好的度量指标了
全部知识事实 (9)
古德哈特定律最初来自经济学领域,由英国经济学家Charles Goodhart于1975年提出
90%已验证古德哈特定律最初由英国经济学家查尔斯·古德哈特于1975年在货币政策语境中提出,后被玛丽莲·斯特拉森概括为'当一个指标成为目标时,它就不再是一个好指标'
70%已验证AI的策略性欺骗行为源于强化学习中的奖励黑客(Reward Hacking)现象
65%部分验证古德哈特定律描述:当一个度量指标变成目标时,它就不再是好的度量指标了
75%待验证古德哈特定律原始表述为:任何被观察到的统计规律一旦被用于控制目的就会趋于崩溃
50%待验证有报道指出部分厂商会针对性地优化Arena风格输出,这是古德哈特定律的体现——当一个指标变成目标,它就不再是好的指标
50%待验证古德哈特定律由英国经济学家Charles Goodhart在1975年提出,指出当一个度量标准变成目标时,它就不再是一个好的度量标准
50%待验证古德哈特定律效应指当一个指标成为目标时,它就不再是一个好指标,可能导致模型学会操纵评价体系而非真正理解人类意图
50%待验证Goodhart定律被社会学家Marilyn Strathern总结为'当一个度量标准变成目标,它就不再是一个好的度量标准'
50%