[控场AI]
概念benchmark saturation

基准饱和

当多个模型在某个基准上接近或达到满分时,该基准对模型能力的区分度急剧下降的现象

时间轴 (近 90 天)

10月15日

基准饱和是指静态基准随发布时间推移被新模型逐步攻破,最终分数趋近上限而失去区分度的现象。

待验证50%
10月12日

当榜单顶部所有参赛者都挤在天花板附近时,该基准已失去区分能力,排序近乎随机

待验证50%
10月12日

检查基准是否饱和应看整体分布跨度,而非只看榜首数值;若第一名和第十名只差毫厘说明榜单已饱和

待验证50%
9月22日

「基准饱和」现象指当模型在标准测试集上接近天花板时,真实场景中的复杂长链推理、跨模态理解与可靠性成为区分代际差异的关键维度

待验证50%

全部知识事实 (4)

来源文章