EMNLP 2026启动AI审稿实验：学术同行评审迎来变革

AI开始参与顶会审稿：EMNLP 2026迈出关键一步

近日，Reddit的机器学习社区（r/MachineLearning）出现了一则引发广泛讨论的帖子，标题为「EMNLP 2026 AI Reviewing Experiment」。有研究者在ACL Rolling Review（ARR）2026年5月周期的投稿系统中，注意到了一项前所未有的变化——AI生成的审稿意见（AI review）开始出现在评审结果中。

这一动向标志着自然语言处理（NLP）领域的顶级会议EMNLP，正式将大语言模型（LLM）引入学术同行评审流程进行实验。对于长期饱受审稿人短缺、评审质量参差不齐困扰的AI学术界而言，这既是一次大胆的尝试，也是一场充满争议的实验。

ARR机制与审稿危机：实验的现实背景

ACL Rolling Review是什么

ACL Rolling Review（ARR）是ACL（计算语言学协会）旗下多个顶会（包括ACL、EMNLP、NAACL等）共用的滚动式论文评审系统。研究者将论文提交至ARR后，会获得统一的评审意见，随后可将这些评审「承诺」（commit）到具体的会议上。

这种机制的初衷是减少重复评审、提升评审复用率。ARR于2021年正式启动，是计算语言学协会对传统会议评审模式的一次根本性变革。在传统模式下，每个会议独立组织评审，论文被拒后需要重新投稿、重新评审，造成大量重复劳动。ARR采用类似期刊的滚动评审模式，每月（后调整为每两个月）设立一个提交窗口。论文获得评审意见后，作者可以选择将其commit到任何接受ARR评审结果的会议，也可以修改后重新提交下一个周期。整个系统使用OpenReview平台作为技术基础设施，所有评审流程在该平台上完成。然而随着投稿量的爆炸式增长，ARR体系同样面临着巨大压力。

日益严峻的审稿人短缺问题

近年来，NLP和机器学习领域的论文投稿数量呈指数级增长。以EMNLP、ACL为代表的顶会，每个周期动辄收到数千甚至上万篇投稿。

投稿量的增长数据令人震惊。以ACL系列会议为例，2019年ACL主会投稿约2900篇，到2024年ARR单个周期的投稿量已超过4000篇，而每年通过ARR处理的论文总量超过万篇。与此同时，AAAI 2025收到超过12000篇投稿，NeurIPS 2024收到约15000篇。有研究估计，按照每篇论文需要3位审稿人、每位审稿人审3-6篇计算，顶会每个周期需要数千名合格审稿人。而愿意且有能力承担审稿任务的研究者增长速度远低于投稿增速，形成了结构性的供需失衡。

这直接导致了：

• 审稿人严重不足：合格的资深审稿人数量远赶不上投稿增速；
• 评审质量下降：审稿人负担过重，出现敷衍、简短、缺乏建设性的评审；
• 评审周期拉长：作者往往需要等待数月才能获得反馈。

正是在这样的背景下，将AI引入审稿流程的想法逐渐从「异想天开」变为「不得不试」。

AI审稿实验的核心内容与运作方式

实验形式：AI作为辅助审稿人

根据社区讨论，EMNLP 2026在ARR 2026年5月周期中，为部分或全部投稿增加了AI生成的审稿意见。这些AI review与人类审稿人的意见并列展示，供作者和领域主席（AC）参考。

有意思的是，从目前公开的信息来看，AI审稿更可能是作为辅助性、实验性的存在，而非直接决定论文命运的最终裁决。它的定位类似于「第N位审稿人」，用于补充人类评审可能遗漏的视角，或对评审质量进行交叉验证。

AI审稿的技术基础

将LLM用于学术评审并非突发奇想。2023年以来，多项研究已探索了这一方向。例如，斯坦福大学的研究团队曾利用GPT-4对ICLR和NeurIPS的论文进行模拟评审，发现AI评审与人类评审在某些维度上具有中等程度的一致性。此外，工具如ReviewerGPT、MARG（Multi-Agent Review Generation）等已被开发出来用于辅助评审。这些系统通常基于检索增强生成（RAG）架构，结合论文内容与相关文献数据库来生成评审意见。然而，这些工具在识别真正的学术创新性、判断实验设计的隐含缺陷等方面仍然明显弱于资深人类审稿人。EMNLP 2026的实验很可能是在这些先行研究的基础上，首次将AI评审从实验室搬到了真实的评审流程中。

AI审稿的潜在应用价值

AI审稿若能有效运作，理论上可以带来以下好处：

1. 缓解审稿人压力：AI可以承担初步筛查、格式检查、相关工作梳理等重复性劳动；
2. 提升反馈及时性：AI可以近乎实时地生成初步反馈；
3. 保证基线质量：即使人类审稿意见质量不佳，AI也能提供一份结构化的基础评审；
4. 辅助领域主席决策：为AC提供额外的判断维度。

争议与担忧：AI审稿面临的挑战

尽管前景诱人，AI审稿实验也引发了学术界的广泛质疑与担忧。

评审质量与可靠性存疑

当前的大语言模型虽然在文本理解和生成上表现出色，但在深度技术判断上仍存在明显短板。学术论文的评审需要审稿人对该细分领域有深入理解，能够识别方法的创新性、实验的严谨性以及结论的可靠性。AI很容易产生「看似合理实则空洞」的评审意见，甚至出现事实性错误（幻觉）。

大语言模型的「幻觉」（hallucination）问题在学术评审场景中尤为危险。所谓幻觉，是指模型生成看似流畅可信但实际上不正确或无中生有的内容。在评审场景中，这可能表现为：AI虚构了某篇不存在的相关工作并指责作者未引用；错误地声称论文的数学推导存在问题（而实际上推导正确）；或者对实验设置做出不准确的总结后基于此给出错误评价。这些幻觉性错误如果被领域主席采信，可能直接导致优质论文被拒，其后果比一般场景下的AI错误更为严重，因为它直接影响了知识传播和研究者的职业发展。

公平性问题不可忽视

如果AI审稿意见被赋予过高权重，可能会系统性地偏好某类写作风格或研究范式，从而对非母语作者、小众研究方向或非主流方法产生隐性歧视。大语言模型的训练数据以英文为主，且更多暴露于主流研究范式的文本中，这意味着它可能对非标准的表达方式、跨学科的创新方法或来自资源较少地区研究者的工作产生理解偏差。此外，AI评审可能对「形式完美但内容增量有限」的论文给出过高评价，而对表达不够规范但包含真正创新的工作评价不足。

学术诚信与「以AI对抗AI」的困境

一个颇具讽刺意味的隐忧是：当审稿由AI完成时，作者也可能用AI来撰写和优化论文，甚至针对性地「迎合」AI审稿人的偏好。这可能演变为一场AI之间的博弈，而偏离了学术评审的本质。如果AI审稿系统的评价偏好被逆向工程，作者可能学会在论文中加入特定的关键词、结构或声明来「欺骗」AI获得更高评分，类似于搜索引擎优化（SEO）在学术领域的变体。这种「评审优化」可能导致论文写作的同质化，抑制真正的学术多样性。

更深层的意义：学术评审体系走向人机协同

这次实验的意义远超「用AI写几条审稿意见」本身。它反映了整个AI学术界正在被自己创造的技术所反噬与重塑——投稿量的激增正是AI工具普及的直接结果，而应对之道又不得不再次求助于AI。

从更宏观的视角看，EMNLP 2026的这次尝试，可能是学术出版流程走向「人机协同」的一个里程碑。EMNLP并非唯一探索AI辅助评审的学术场所。Nature旗下期刊已在使用AI工具进行稿件初筛，检测统计错误和图像操纵。Elsevier开发了UNSILO系统用于自动匹配审稿人与论文。IEEE也在试验AI工具来检测论文中的抄袭和AI生成内容。在计算机科学领域，ICML 2024曾讨论是否引入AI辅助审稿的政策，最终决定暂不采用但鼓励相关研究。相比之下，EMNLP 2026的实验更为激进，因为它不仅是后台辅助，而是将AI评审意见直接呈现给作者和决策者，这在顶会实践中属于首次。

未来的评审体系或许会演变为：

• AI负责初筛、格式审查和基础评估；
• 人类审稿人聚焦于高阶的创新性与价值判断；
• 领域主席在综合两者意见的基础上做出最终决策。

这种分工若能建立起合理的规范与监督机制，或许能在保证质量的前提下，有效缓解当前的审稿危机。

结语：AI审稿实验的未来走向

EMNLP 2026的AI审稿实验目前仍处于早期阶段，社区中的讨论也多以「能否看到AI审稿结果」这类观察性问题为主。可以预见，随着更多作者陆续收到评审意见，围绕AI审稿质量、公平性和伦理的讨论将进一步升温。

无论最终成效如何，这场实验都为AI时代的学术评审改革提供了宝贵的现实样本。它提醒我们：当AI深度介入知识生产与评价体系时，如何在效率与质量、创新与公平之间取得平衡，将是整个学术共同体必须共同面对的长期课题。