概念benchmark saturation
基准饱和
当多个模型在某个基准上接近或达到满分时,该基准对模型能力的区分度急剧下降的现象
时间轴 (近 90 天)
10月15日
基准饱和是指静态基准随发布时间推移被新模型逐步攻破,最终分数趋近上限而失去区分度的现象。
待验证50%
10月12日
当榜单顶部所有参赛者都挤在天花板附近时,该基准已失去区分能力,排序近乎随机
待验证50%
10月12日
检查基准是否饱和应看整体分布跨度,而非只看榜首数值;若第一名和第十名只差毫厘说明榜单已饱和
待验证50%
9月22日
「基准饱和」现象指当模型在标准测试集上接近天花板时,真实场景中的复杂长链推理、跨模态理解与可靠性成为区分代际差异的关键维度
待验证50%