概念基准游戏 / benchmark gaming
benchmark gaming
AI领域中模型针对特定评估集过度优化，导致基准测试分数虚高但实际生产能力不足的现象，即Goodhart定律在AI评估中的体现
时间轴 (近 90 天)
9月22日
'刷榜'（benchmark gaming）现象普遍存在，模型在训练或微调阶段可能接触过测试集相关数据，导致分数虚高但泛化能力不足
待验证50%
9月8日
基准测试游戏化现象指开发者针对特定基准定向优化（如微调阶段增加与目标基准题目风格相似的训练数据），刷高分数但不提升真实通用能力
待验证50%