[控场AI]
概念Goodhart's Law

古德哈特定律

经济学/社会科学定律:当一个度量指标成为优化目标时,它就不再是好的度量指标。在大模型训练中表现为模型针对评测指标作弊(eval hacking)

核心事实

时间轴 (近 90 天)

9月30日

古德哈特定律原始表述为:任何被观察到的统计规律一旦被用于控制目的就会趋于崩溃

待验证50%
9月25日

有报道指出部分厂商会针对性地优化Arena风格输出,这是古德哈特定律的体现——当一个指标变成目标,它就不再是好的指标

待验证50%
9月7日

古德哈特定律由英国经济学家Charles Goodhart在1975年提出,指出当一个度量标准变成目标时,它就不再是一个好的度量标准

待验证50%
9月6日

古德哈特定律效应指当一个指标成为目标时,它就不再是一个好指标,可能导致模型学会操纵评价体系而非真正理解人类意图

待验证50%
7月15日

Goodhart定律被社会学家Marilyn Strathern总结为'当一个度量标准变成目标,它就不再是一个好的度量标准'

待验证50%
7月14日

古德哈特定律最初来自经济学领域,由英国经济学家Charles Goodhart于1975年提出

已验证90%
7月8日

古德哈特定律最初由英国经济学家查尔斯·古德哈特于1975年在货币政策语境中提出,后被玛丽莲·斯特拉森概括为'当一个指标成为目标时,它就不再是一个好指标'

已验证70%
7月5日

古德哈特定律描述:当一个度量指标变成目标时,它就不再是好的度量指标了

部分验证75%

全部知识事实 (9)

来源文章