概念benchmark overfitting
基准过拟合
AI评测领域的问题现象，指模型厂商针对主流测试集进行专项优化，导致榜单分数虚高但不能反映真实泛化能力
时间轴 (近 90 天)
9月22日
基准测试的测试集往往是静态封闭的，厂商可针对特定基准进行训练优化使模型表现亮眼，但不意味着泛化能力同步提升
待验证50%
9月11日
模型开发商有时会针对公开基准进行针对性优化（基准过拟合），导致跑分与实际使用体验存在落差
待验证50%
AI评测领域的问题现象，指模型厂商针对主流测试集进行专项优化，导致榜单分数虚高但不能反映真实泛化能力
基准测试的测试集往往是静态封闭的，厂商可针对特定基准进行训练优化使模型表现亮眼，但不意味着泛化能力同步提升
模型开发商有时会针对公开基准进行针对性优化（基准过拟合），导致跑分与实际使用体验存在落差