待验证50% 置信事实精确时间

基准被刷爆（saturation）是指测试集的题目或解法已被模型训练数据覆盖，导致高分不再代表真实能力

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

Opus 5.5 实测：更像人类的写作，更低的成本

涉及实体

saturationconcept

相关事实

待验证'刷榜'（benchmark gaming）现象普遍存在，模型在训练或微调阶段可能接触过测试集相关数据，导致分数虚高但泛化能力不足78% 相似已验证过拟合是指模型在训练数据上表现优异，但在未见过的测试数据上性能大幅下降的现象78% 相似已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力77% 相似已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/973509

API

curl https://kongchang.com/api/v1/knowledge/claims/973509

MCP

get_claim(id=973509)