AI性能跑分谁说了算？看懂公开榜单的三条铁律

跑分数字背后，真正重要的是谁来打分

AI领域从不缺少性能宣称。每隔一段时间就有新模型声称刷新纪录，但这些漂亮的数字究竟有多少含金量？原文一针见血地指出：真正重要的不是数字本身有多大，而是谁来出题、谁来批改、用的是什么样的题目。

这篇围绕公开评测榜单（leaderboard）的分析文章，拆解了自评测的陷阱，并说明了为什么由第三方运营的公开榜单成绩才真正具备分量。对任何想要理性看待AI模型排名的人来说，这是一份实用的阅读指南。

公开评测榜单示意

为什么自我评测难以让人信服

道理其实很简单：如果一道考题由我出、我来解、我来批改，那我想给自己打多少分都行。文章列举了几种常见的"刷分"手法——把测试集数据泄露到训练集中、从多次运行中挑最好的一次结果、或者让某条"兜底回答路径"硬凑出一个答案。数字上去了，模型的真实能力却一点没变。

这正是自评测的根本问题所在。它在研发阶段有价值，可以帮助团队调试和迭代，但它无法替代外部的独立批改。一个由自己掌控全流程的分数，天然缺乏公信力。

「测试集污染」（test set contamination）是AI评测领域记录最为详尽的系统性问题之一。具体机制是：如果模型的训练数据抓取自互联网，而某个基准测试的题目和答案也在互联网上公开，那么模型可能已经在训练时「见过」这些题目，导致测试分数虚高。这一问题在大规模语言模型时代尤为棘手，因为训练数据的确切边界往往不对外公开，连研究者自己有时也难以确认。除数据泄露外，「挑选最佳运行结果」（cherry-picking runs）也是一种常见偏差来源——如果一个模型在同一题目上跑100次，从中选最高分上报，那该分数实际上度量的是模型的运气上限，而非稳定的期望表现。可靠的评测规范通常要求事先注册评测方案（pre-registration），明确说明只取一次结果还是多次均值，以防止事后挑选。

可信指标的三个条件

文章提出，一个真正可靠的性能指标必须同时满足三个条件，这也是判断任何跑分成绩的核心标准：

第三方批改

考题和批改权都掌握在外部机构手中，而非模型发布方自己。这从机制上杜绝了"自己给自己判卷"的可能。

题目能抵抗记忆

题目应当是研究生水平、无法靠搜索直接找到答案的难题。如果一道题可以通过检索或背诵解决，那么高分就可能只是"记住了"，而非"理解了"。

多榜单共同验证

单一榜单的高分可能是运气使然，但在多个相互独立的榜单上都拿到第一，就很难靠作弊伪造了。跨越不同领域的一致表现，才是真实实力的信号。

这三个条件背后有一套来自统计学与科学哲学的基本逻辑。「第三方批改」对应的是科学实验中的利益冲突回避原则——审稿人与作者不能是同一人。「题目能抵抗记忆」对应的是泛化能力（generalization）与记忆过拟合（memorization）的区分：一个真正理解问题的模型，应该能在从未见过的新题上复现能力，而不只是检索训练时储存的答案。「多榜单共同验证」则呼应统计学中的可复现性（reproducibility）要求——单次实验的显著结果可能是随机噪声，只有跨独立实验的一致结论才具备说服力。三个条件缺一不可：满足第三方批改但题目太简单，仍会出现天花板效应（ceiling effect）导致无法区分模型；题目难但只在单一榜单上表现好，则可能是领域过拟合；跨多榜单领先但题目来源不透明，依然无法排除数据污染。

VIDRAFT 的公开成绩

文章以 VIDRAFT 在第三方运营的公开评测中的成绩为例，展示了符合上述标准的结果：

AIME 2026 与 HMMT（2026年2月）：在竞赛数学题集上取得满分。
GPQA Diamond：在 500B 参数以下类别中达到 93.43%，这是一组专为抵抗搜索而设计的研究生级科学题。
广度表现：在公开榜单的 11 个类别中位列第一，并在 Polaris 药物预测榜单的 16 个类别中登顶。

作者反复强调，关键不在于数字多高，而在于考题出自他人之手、题目能抵抗死记硬背、同一套方法在差异极大的多个领域都奏效。这才是成绩真正的说服力来源。

文章提到的几个榜单各有其评测侧重，了解它们的设计有助于判断成绩的含金量。AIME（美国数学邀请赛）是面向高中生的精英数学竞赛，题目以推理步骤多、答案唯一为特点，能有效区分推理深度，因此被广泛用于测试大模型的数学能力。HMMT（哈佛-麻省理工数学邀请赛）难度更高，部分题目需要原创性构造，比AIME更能抵抗"背公式"策略。GPQA Diamond 则是一套专为测试前沿科学推理而设计的数据集，题目由博士生和领域专家出题，设计目标就是让搜索引擎和浅层记忆无法直接得出正确答案——其名称中的「Diamond」代表题目经过了多轮专家验证的最高难度子集。Polaris 是药物分子性质预测的专业基准，考察的是结构化科学预测能力，与数学推理属于截然不同的能力维度，因此跨这两类榜单都领先，是支持「泛化能力」而非「针对性刷题」的有力证据。

读懂一张榜单的实用清单

文章给出了一份阅读榜单时的检查清单，值得每一位关注AI评测的读者记住：

训练集与测试集不得重叠。一旦有题目泄露，分数的提升就是幻觉。
出现满分时，先怀疑题目太简单。满分往往意味着这套考题已经失去了区分能力。
正向差异不等于胜利。落在噪声范围内的提升，根本算不上提升。
若启用了某种加速技巧，先怀疑测量工具。工具失真会让数字好看，但不可信。

这些原则不仅适用于审视别人的成绩，作者也表示这正是他们在公布自己成绩之前所遵循的标准。

为什么要在公开场合证明

私下的演示（demo）在受控条件下总能表现得很好，但那种"控制"掌握在演示方自己手里。而公开榜单的意义在于，它把控制权交到了外部——用同样的考题、同样的批改标准，任何人都可以尝试复现结果。

可复现性，正是公开证明分量的来源。这与科学方法的本质一脉相承：一个无法被独立验证的结论，价值有限。

常见疑问解答

满分是最好的吗？ 不一定。满分可能恰恰说明这套考题已经失去了区分不同模型的能力。

拿一个第一就够了吗？ 单一榜单可能只是运气。只有在多个相互独立的榜单上都领先，可信度才会真正提升。

这些数字从哪来？ 来自第三方运营的公开评测。

自评测毫无用处吗？ 并非如此。它在研发过程中有价值，但不能取代外部批改。

结语：先看条件，再看数字

一个有力的性能宣称，不应该是"我们的数字很高"，而应该是"在一场由他人出题、题目能抵抗记忆、横跨多个领域的考试中取得的成绩"。

下次再看到任何AI模型的跑分榜单时，不妨先问一句：谁出的题，谁批改的，题目难不难，有没有多榜单印证？先看清条件，再去评判数字——这是对抗AI性能营销噪声最朴素也最有效的方法。