Concept基准过拟合 / Goodhart's Law / 古德哈特定律
benchmark overfitting
指AI模型针对特定基准测试进行优化训练后,在测试集上表现优异但泛化能力并未同步提升的现象,是古德哈特定律在机器学习评测中的体现
Timeline (last 90 days)
Sep 11
过拟合评测集的手段包括将评测数据混入训练语料、间接的网络爬虫污染、教学式微调以及训练模型识别评测场景
Unverified60%
指AI模型针对特定基准测试进行优化训练后,在测试集上表现优异但泛化能力并未同步提升的现象,是古德哈特定律在机器学习评测中的体现
过拟合评测集的手段包括将评测数据混入训练语料、间接的网络爬虫污染、教学式微调以及训练模型识别评测场景