ICLR评审遇上AI生成论文：如何辨别水稿？

AI生成论文正在考验顶会评审机制

顶级AI学术会议ICLR的论文评审季开始了，而今年的评审似乎多了一层新的挑战。一位Reddit用户在社区发起讨论，分享了自己浏览ICLR OpenReview平台的观察：高质量论文很多，但一个更棘手的问题浮出水面——AI生成的文本越来越难以识别，这可能是第一个大规模出现"自动化科研投稿"的顶级会议。

这个话题之所以引发关注，是因为它触及了学术评审体系的根基。当大语言模型可以辅助甚至主导论文写作时，评审者该如何在堆积如山的投稿中分辨出真正有价值的研究，而不被语言流畅但内容空洞的"水稿"（slop papers）所误导？

评审者面临的核心困境

讨论中提出了几个值得深思的问题。首当其冲的是识别难度：AI写作工具的进步让机器生成的文本越来越接近人类写作风格，传统上依赖语言生硬、逻辑跳跃等特征来判断的方式正在失效。评审者过去凭经验就能嗅出的"不对劲"，如今可能被打磨得天衣无缝。

其次是质量判断与写作质量的脱钩问题。一篇论文语言通顺、结构规范，并不代表其研究贡献真实有效。AI可以帮助作者快速生成看似专业的论述，但无法凭空创造扎实的实验数据和原创思想。这意味着评审的重心必须从"文本质量"进一步回归到"科研内核"——实验是否可复现、方法是否有创新、结论是否站得住脚。

什么是"slop papers"

讨论中反复出现的"slop papers"（水稿、灌水论文）概念，指的是那些缺乏实质性贡献、依靠批量生产或AI辅助快速堆砌而成的低质量投稿。这类论文的危害在于，它们会占用大量评审资源，稀释会议的整体质量，也让真正优秀的研究更难脱颖而出。

ICLR（International Conference on Learning Representations）是深度学习与表示学习领域最顶级的学术会议之一，与NeurIPS、ICML并称为AI领域"三大顶会"。ICLR采用OpenReview平台进行开放式评审，所有投稿、评审意见和作者反驳均对外公开，这种透明机制本意是提升评审质量、遏制学术不端，但也在客观上使得评审动态对公众完全可见——包括那些疑似AI生成的投稿痕迹。近年来ICLR投稿量持续攀升，2024年超过7000篇，2025年预计将进一步增加，庞大的投稿基数使得每位评审者通常需要独立审阅6至8篇论文，评审负担已相当繁重。

自动化科研投稿时代的到来

发帖者的一个判断颇具前瞻性：ICLR可能是第一个大规模遭遇"自动化科研投稿"的顶级会议。这里的"自动化"不仅指AI辅助写作，更包括从选题、实验设计到论文撰写的全流程AI参与。

这种趋势带来的影响是双向的。一方面，AI工具确实能提升科研效率，帮助研究者更快地表达想法、规范论文格式；另一方面，当投稿门槛因工具普及而降低，投稿数量激增，评审系统的承载压力也随之放大。顶会每年收到的论文动辄上万篇，评审者多为志愿参与的学者，时间精力本就有限，面对可能夹杂AI水稿的庞大投稿池，负担进一步加重。

"自动化科研"（Automated Research 或 AI-driven Science）是一个正在快速演进的概念，狭义上指利用AI工具辅助文献综述、实验设计、数据分析和论文撰写等单一环节；广义上则指从提出假设到生成可发表论文的全流程自动化。2024年已有多项研究展示了这一方向的雏形，例如斯坦福等机构发布的"AI Scientist"类系统，能够自主完成选题、编写代码、运行实验并生成论文草稿。这类系统目前输出质量尚不稳定，但其存在本身意味着：投稿一篇论文的边际成本正在趋近于零，传统上以"作者投入大量时间精力"为隐性门槛的学术发表体系，其底层假设正在被动摇。

评审机制或将如何演变

虽然原帖更多是提出问题而非给出答案，但从讨论本身可以推断出几个可能的应对方向。

评审标准可能更强调可验证性。面对难以辨别写作来源的现实，会议或许会更看重开源代码、可复现实验、原始数据等硬性证据，用这些难以伪造的要素来过滤水稿。

评审流程可能引入更多环节。例如要求作者在rebuttal（反驳）阶段回应更具体、更深入的技术追问，AI辅助生成的论文往往在面对细节质询时容易露出破绽。

学术共同体的规范也需要跟进。如何界定AI在论文中的合理使用边界、是否要求披露AI参与程度，这些都是整个领域需要共同探讨的议题。

Rebuttal（作者反驳）是顶级AI会议评审流程中的关键环节：评审意见发布后，作者有约一周时间以书面形式回应评审者提出的质疑，随后评审者可据此修改评分。这一机制设计初衷是给予作者澄清误解的机会，但在AI水稿泛滥的背景下，它也可能成为检验真实科研能力的"压力测试"——评审者若在这一阶段提出需要深入领域理解才能回答的技术细节问题，往往能区分出作者是否真正掌握研究内容。部分学者已建议将rebuttal阶段的提问标准系统性地升级，从确认文字表述转向追问方法论选择、实验细节乃至失败案例，使其成为抵御AI水稿的制度性防线。

结语

这场发生在Reddit社区的讨论，折射出AI浪潮对学术评审体系的真实冲击。它不是危言耸听，而是正在发生的现实挑战。随着生成式AI能力的持续提升，"如何辨别真研究与AI水稿"将成为所有学术会议都无法回避的命题。

对研究者而言，与其担忧工具被滥用，不如回归科研本质——真正有价值的创新、扎实的实验和诚实的学术态度，始终是任何AI都无法替代的核心竞争力。而对评审体系来说，适应这一变化、重构评估标准，已经从"要不要做"变成了"如何做得更好"。