ML顶会为何不限制投稿数量？评审质量危机根源解析

一个被忽视的行业顽疾

机器学习研究社区正面临一个日益严峻的问题：投稿量的爆炸式增长。近期在ACL Rolling Review（ARR）等评审周期中，评审质量下滑的现象引发了广泛讨论。

ACL Rolling Review（ARR）背景：ARR是自然语言处理领域于2021年10月正式推出的滚动评审系统，旨在将论文评审与投稿决定解耦。其底层基于OpenReview平台构建，采用月度滚动收稿窗口，每轮周期约为两个月。传统会议模式下，作者需针对每个会议单独投稿并等待评审结果；而ARR允许作者将论文提交至统一评审池，评审完成后可将结果"承诺"给ACL、EMNLP、NAACL等多个顶级会议。这一"评审与录用解耦"的设计借鉴了期刊审稿模式，初衷是减少重复评审工作、提升效率。然而，由于单次评审可多次承诺，研究者的边际投稿成本被大幅压低，ARR的开放性也带来了意想不到的副作用：研究者投稿积极性大幅提升，导致评审池持续膨胀。2023年以来，ARR每个周期的投稿量已突破数千篇，评审人负担急剧加重，评审质量投诉随之增加，使ARR成为当前ML评审危机的典型缩影。

一位同时活跃于多个研究领域的研究者在Reddit上提出了一个尖锐的问题：为什么ML社区不像其他领域那样，限制每位作者的投稿数量？

这个问题看似简单，却触及了当前AI学术生态的核心矛盾——在追求发表数量与保障评审质量之间的失衡。

reddit source

其他领域早有先例

投稿数量限制并非新鲜事物。在多个成熟的计算机科学子领域，这一机制已运行多年并被证明行之有效。

安全领域的做法

以计算机安全领域顶级会议CCS（ACM Conference on Computer and Communications Security）为例，通过对单一作者投稿数量的合理约束，有效控制了评审工作负载，避免评审资源被过度稀释。

CCS是信息安全领域四大顶会之一，每年录用率约为15%-20%。其投稿限制政策规定，同一作者在单一审稿周期内作为通讯作者（或第一作者）的投稿数量不得超过特定上限（通常为2-3篇），超出部分将被直接拒稿。这一政策的核心逻辑在于：顶会的评审资源本质上是稀缺公共品，若不加限制，少数高产团队的大量投稿会不成比例地消耗评审资源，对其他作者形成不公平竞争。实证数据显示，安全领域实施此类限制后，评审意见的深度和具体性均有可量化的提升。

计算机架构领域的实践

在计算机架构领域，DAC（Design Automation Conference）等会议同样采用了类似策略。DAC是电子设计自动化与芯片设计领域的旗舰会议，其投稿限制政策与CCS思路一致——通过约束核心作者的投稿数量，倒逼研究者将精力集中于更成熟、更完善的工作上。这些领域普遍认为，限制投稿数量不仅能减轻评审压力，还能促使研究者更注重每篇论文的质量而非数量。

这些成功案例引出了一个关键疑问：既然这套机制在其他领域运转良好，ML社区为何选择了不同的路径？

ML社区的独特文化根源

要理解这一现象，需要深入分析ML研究社区的独特生态。

极致的发表速度文化

机器学习领域以惊人的迭代速度著称。一个新想法从萌芽到成为顶会论文，周期可能远短于传统学科。在这种"快节奏"文化中，任何限制投稿数量的举措都可能被视为对研究活力的阻碍——研究者担心人为设限会让他们错失在快速演进的领域中占据先机的机会。

NeurIPS（神经信息处理系统大会）的投稿量增长轨迹是ML发表危机的最佳量化注脚。2012年约1500篇投稿对应AlexNet引发的深度学习第一波浪潮；2018年约4800篇对应GAN、强化学习等方向的爆发；2022年超过1万篇，2023年突破1.3万篇，十年间增长近9倍。录用率从早期的25%左右被压缩至约25%，但绝对录用数量从数百篇膨胀至3000篇以上。这意味着评审人总需求以更快速度扩张——2023年NeurIPS需要动员约1.5万名评审人，其中相当比例为经验有限的博士生，形成"以稿换审"的低质量均衡。这种指数级增长既是"发表文化"驱动的结果，也反过来强化了该文化——形成了难以打破的自我强化循环。

竞争激烈的职业压力

在ML领域，无论是学术界的教职竞争，还是工业界研究岗位的角逐，论文发表数量往往是重要的评价指标。"Publish or Perish"（不发表就出局）这一文化压力在AI领域表现尤为极端：由于NeurIPS、ICML、ICLR等顶会已成为Google、Meta、微软等工业界招募研究人才的重要筛选标准，顶会论文数量直接影响薪资谈判筹码。博士生、博士后乃至资深研究员都面临着"不发表就出局"的巨大压力。在这样的激励结构下，限制投稿数量会直接触动众多研究者的切身利益，因而难以获得广泛支持。

大规模合作的现实

现代ML研究，尤其是大型模型和大规模实验的时代，往往涉及庞大的合作团队。以GPT-4技术报告为例，署名作者超过200人；谷歌的PaLM论文同样有数十位作者联署。在大型工业实验室，一位研究员可能同时参与数十个项目并以不同排名署名。

在大规模ML协作中，作者资格（Authorship）认定已成为实施投稿限制的核心技术障碍。当前ML论文普遍存在三类作者贡献模式：一是工业实验室的"资源挂名"（infrastructure authorship），即提供算力、数据或工程支持者；二是学术合作中的"指导性署名"（supervisory authorship），导师因指导关系列名；三是真正的智识贡献者（intellectual contributor）。CRediT（贡献者角色分类法）提供了14种标准化贡献角色（如概念化、方法论、软件、数据整理等），已被Nature、PLOS等期刊采用，但ML顶会尚未系统性引入。国际医学期刊编辑委员会（ICMJE）提出的"作者资格四标准"（实质性贡献、起草或修改论文、最终审定、对研究整体负责）在ML社区执行力度同样极为有限。缺乏标准化的贡献声明机制，使得"按核心作者限制投稿"在操作层面存在天然漏洞——研究者可通过调整作者排序规避限制。如何界定核心作者与辅助贡献者——例如区分提供核心算法创新的研究者，与仅提供计算资源或数据标注支持的参与者——至今没有业界共识。这些复杂性使得"按作者限制投稿"的政策在技术实施层面存在真实困难，政策设计相当棘手。

评审质量危机的连锁反应

投稿量失控带来的最直接后果，是评审质量的持续下滑。

当每位评审人被分配过多稿件时，认真阅读和深入评估每篇论文变得几乎不可能，由此引发几个恶性循环：

评审意见流于表面：评审人无暇深究方法细节，评价趋于草率。
优质论文可能被埋没：在海量投稿中，真正有价值的工作可能因评审人精力有限而被忽视。
评审人负担加重，参与意愿下降：过重的工作量使资深研究者不愿承担评审任务，进一步恶化了评审人才库的质量。

ARR近期周期中暴露的问题，正是这一系统性压力的集中体现。

可能的解决路径

面对这一困境，ML社区并非无计可施。除直接限制投稿数量外，还存在多种潜在方案。

引入投稿配额制

借鉴安全和架构领域的经验，可为每位作者（尤其是通讯作者或核心作者）设定合理的投稿上限。这需要社区就"核心作者"的定义达成共识，并参考CRediT等标准化贡献声明框架，建立可操作的认定规则。

强制评审贡献机制

将投稿权利与评审义务绑定，从源头上平衡供需关系。这一机制本质上是对评审资源进行"内部化"（internalization）——通过制度设计让投稿者承担其行为产生的社会成本。OpenReview平台曾尝试"审稿积分"系统，完成高质量评审可获得积分用于抵扣未来投稿费用；CVPR 2024年引入的"作者必须提供评审承诺"规定是迄今ML领域最接近此类机制的实践尝试。行为经济学研究表明，此类机制的关键设计参数包括：评审质量的可量化程度（影响激励校准）、惩罚逃避义务的执行成本（影响合规率）、以及对新人研究者的豁免条款（影响公平性）。

提升桌面拒稿（Desk Reject）效率

桌面拒稿是指论文在进入同行评审流程之前，由编委会或领域主席（Area Chair）直接拒绝的处理方式。触发桌面拒稿的常见原因包括：格式不符合投稿规范、明显超出会议主题范围、与已发表工作存在高度重叠（查重率超标）、论文质量明显低于会议基本标准等。在ICLR 2023年的实践中，约有5%-8%的投稿在进入完整评审前被桌面拒稿，有效节省了评审资源。

近年来，部分会议开始探索将大语言模型（LLM）辅助用于初步格式审查和主题匹配：ICLR和NeurIPS已在内部实验中使用基于BERT/GPT的文本相似度模型检测重复投稿；Semantic Scholar的S2ORC语料库被用于训练论文主题分类器，辅助判断稿件是否偏离会议范围。然而，LLM在评估论文"质量"层面的应用争议更大——2023年ICLR的一项实验显示，GPT-4对论文接受率的预测与人类评审的一致性约为30%，略优于随机基线，但远未达到可信赖的程度。这表明AI辅助桌面拒稿在格式和主题匹配层面已有实用价值，但在质量判断层面仍需人类介入。通过更严格的初筛机制，在正式评审前过滤掉明显不合格的稿件，可显著减轻后续评审压力。

结语：文化转变的必要性

归根结底，ML社区迟迟未采取投稿限制措施，背后是深层的文化和激励结构问题，而非单纯的政策疏忽。快速迭代的文化、激烈的职业竞争以及大规模协作的现实，共同构成了改革的阻力。

然而，随着评审质量危机日益凸显，越来越多的研究者开始反思现有模式的可持续性。其他领域的成功经验表明，适度的约束不仅不会扼杀创新，反而可能通过提升整体质量使社区受益。ML社区是否愿意、以及如何借鉴这些经验，将是决定其学术生态能否健康发展的关键议题。