测评19款大模型做论文审稿人：参数与价格并不决定成绩

一个有趣的问题最近被一位开发者用严谨的方式验证了：大语言模型能否担任机器学习论文的审稿人，既能揪出实验里的方法学缺陷，又能在论文本身没问题时保持克制？这项提交给 Kaggle Benchmarking Challenge 的测评覆盖了来自 Anthropic、OpenAI、Google、Qwen、xAI、Z.ai 和 DeepSeek 的 19 个有效模型，结论颇具冲击力——模型的参数规模、价格和发布时间都无法预测它的审稿表现。

测评设计：为什么它比普通benchmark更可信

这项测评的核心价值不在于跑分本身，而在于它的实验设计避开了常见陷阱。作者针对机器学习研究中常见的 7 类效度缺陷构造了测试题：

• 把合成数据当作真实世界证据
• 测试集泄漏（test-set leakage）
• 小样本过度推断
• 在类别不平衡数据上报告准确率
• 退化的置信区间
• 未校正的多重比较
• best-of-N 的种子挑选（cherry-picking）

最关键的设计是配对样本（matched pairs）。每一类缺陷都有一个「有缺陷版本」和一个「结构完全相同但没有问题的孪生版本」，两者只在真正关键的细节上不同。比如「测试了 30 个子组且未做校正」对应「预先指定了一个子组」。这种设计让模型无法靠措辞的模式匹配蒙混过关，而「健全孪生版本」则专门用来衡量模型的误报率（false alarms）。

每道题还会跑两遍：一遍中性表述，一遍额外加上「作者认为该结果已成定论」的提示，用来检验模型是否会被作者的自信语气带偏。最终每个模型要回答 112 道题（7 类缺陷 × 2 个版本 × 4 次重复 × 2 种条件），其中一半有缺陷、一半健全。这意味着一个只会机械回答「none」的模型会得到 0.50 分的基线。

测试集泄漏（test-set leakage） 是指在模型训练或超参数调优阶段，测试集的信息以某种形式「渗入」了训练过程，导致模型在测试集上的表现被虚假地抬高。常见形式包括：用测试集数据做特征工程、在验证集上反复调参后将其当作独立测试集，以及数据预处理时无意将测试集统计量（如均值、方差）用于归一化训练集。泄漏的危险在于它往往不易察觉——论文作者本人有时也不清楚自己的流程存在泄漏——却会让一个实际上无法泛化的模型看起来性能卓越。在现实部署中，泄漏导致的过拟合会直接暴露，成为论文可复现性危机的重要来源之一。

多重比较问题（multiple comparisons problem） 则是统计显著性检验中的经典陷阱。当研究者同时对同一数据集进行多个假设检验时，即便每次检验的显著性阈值设为 0.05，随着检验次数增加，出现至少一个「假阳性」结论的概率会急剧攀升。例如进行 20 次独立检验，在零假设全部为真的情况下，期望出现约 1 个 p < 0.05 的结果纯属偶然。常见的校正方法包括 Bonferroni 校正（将阈值除以检验次数）和 Benjamini-Hochberg 方法（控制错误发现率）。机器学习论文中频繁出现的「在多个数据集/子组上测试并只汇报显著结果」，正是这类问题的典型表现。

跑分结果：顶部拥挤，底部贴近基线

最终 19 个模型的得分从 0.55 到 1.00 不等。排名前列的格局相当密集：

排名	模型	得分
1	Qwen 3 235B A22B Instruct	1.00
2	GPT-5.4 mini	0.98
3	GPT-5.5 / Claude Haiku 5.5	0.95
5	Gemini 3.1 Flash-Lite / Pro Preview	0.94
7	Claude Opus 5	0.93
8	Gemma 4 26B / Gemini 3.5 Flash-Lite / 3.7 Flash	0.92
12	Claude Sonnet 5	0.88
18	Claude Haiku 4.5	0.68
19	Gemma 4 31B	0.55

19 个模型中有 11 个得分在 0.91 以上。作者坦诚地指出，在 112 道题的样本量下，1 道题约等于 0.9 分，接近 0.95 时的 95% 置信区间大约是 ±4 分，因此 0.94 和 0.92 之间的差异其实无法区分。他本人复测 Claude Haiku 5.5 时得到 0.946，而 Kaggle 平台先后显示 0.96 和 0.95——仅运行间的随机噪声就能带来一两分的波动。这种对不确定性的直白披露，恰恰让整份结果更可信。

核心发现：规模、价格、代际都不是答案

最反直觉的结论是：更大、更贵、更新的模型并不必然更强。

GPT-5.4 mini（0.98）反超了 GPT-5.5（0.95）；Claude Haiku 5.5（0.95）也压过了 Claude Sonnet 5（0.88）。但这并不意味着「小模型更强」——在 OpenAI 的 5.4 系列里，mini 拿到 0.98，而 nano 只有 0.76。真正决定表现的似乎是具体的训练质量，而非某个单一的外部指标。

代际差异同样惊人。Claude Haiku 从 4.5 的 0.68 跳升到 5.5 的 0.95，整整提升了 27 分。这说明在特定审稿任务上，一次模型迭代带来的能力跃迁可能远超参数扩张的收益。

Qwen 系列几乎横跨了整个分数区间：235B Instruct 满分 112/112，而 Qwen 3 Next 80B Instruct 只有 0.70，其 thinking 版本则回升到 0.86。作者谨慎地提醒，由于每个都是单次运行，thinking 带来的增益只能说「有提示性」，但幅度确实很大。

满分不等于完美：benchmark 自己撞上了自己设的坑

这份测评最有意思的一个细节是它的自我指涉。Qwen 3 235B 拿到 112/112 的满分，用正态近似算出的置信区间是 [1.00, 1.00]——而这恰好就是作者在 7 类缺陷里专门设计的「退化置信区间」陷阱。换用 Wilson 区间后，真实范围约为 0.97 到 1.00。作者由此提醒：112 道题上的满分并不能证明模型真的完美。

底部的情况则相反。Gemma 4 31B 的 0.55 几乎贴近「永远回答 none」的 0.50 基线。作者坦言还没检查它的具体答案，无法判断它究竟是漏掉了缺陷、过度回答 none，还是单纯在应对答案格式上出了问题。

这里涉及两种置信区间方法的根本差异。正态近似区间（又称 Wald 区间）直接用样本比例 p 和样本量 n 套用公式 p ± z·√(p(1-p)/n)，当 p 接近 0 或 1 时，方差项 p(1-p) 趋近于零，区间会退化为一个点，给出虚假的「完全确定」感——这正是作者在 benchmark 中专门设置为缺陷场景的情形。Wilson 区间则通过对总体比例的后验估计进行调整，在极端比例下仍能给出合理的不确定性范围，被认为是小样本或极端比例情形下的更优选择。Qwen 3 235B 满分导致正态近似区间恰好坍缩为 [1.00, 1.00]，这一细节既是对该模型能力的某种认可，也是一个绝佳的教学案例：评估工具本身同样需要接受方法学审查。

工程踩坑：推理 token 吃掉了输出预算

作者还公开了测评过程中的技术教训，这对任何想自建 LLM 评测的人都有参考价值。

第一次完整运行 Gemini 2.5 Flash 时，112 道题里有 24 道失败了。原因是输出上限被设为 1500 token，而 Flash 把其中约 1440 个 token 花在了推理上，导致结构化答案被截断、无法解析。更糟的是，这些失败并非随机分布，而主要集中在「自信条件下的健全题目」——恰恰是整个 benchmark 最关心的场景。如果直接丢弃这些题，分数会被人为抬高。

作者的修复方案是提高 token 上限并加入重试机制，同时保留一道防线：当失败题目过多时拒绝给模型打分。但这个修复本身也有代价——所有重试仍失败的题目会被判为错误（invalid）而非丢弃，这保证了题目总数固定，却意味着基础设施层面的故障会算在模型头上。作者推测 Grok 4.5 的 0.00 很可能正是这个原因，但他没有最终确认。

局限与下一步

作者对自身方法的局限相当坦诚。题目来自模板，每类缺陷只有少数几个变体，强模型可能是在识别模板而非真正审稿；112 道题的样本量也偏小。此外，他原本希望把分数拆解成三个维度——漏掉真实缺陷、对健全孪生题误报、以及被作者的「自信提示」带偏——但因时间不足未能完成，所以暂时无法解释低分模型「为什么」低。

好在数据基础已经具备：每道题都标注了变体、条件和缺陷类型。后续计划包括完成这项拆解分析、推出不给标签列表的开放式版本、引入真实的撤稿论文方法章节，以及设计更难更微妙的缺陷，让顶部模型不再扎堆于天花板。

对于想把 LLM 用作研究辅助或审稿工具的人来说，这项测评传递了一个清晰的信号：选型不能只看参数和价格榜，针对具体任务的实测才是唯一可靠的依据。而测评者本人对噪声、置信区间和工程缺陷的坦率披露，也为如何做一份靠谱的 LLM benchmark 提供了范本。