AI入侵学术评审：审稿流程已病危？

一位资深审稿人在Reddit上发出警告：AI生成的审稿意见和论文写作正在侵蚀学术评审的根基。这位审稿人自2022年起为NeurIPS、ICML、AAAI、ICLR等顶会审稿约10次，但近期在AAAI 2027和ICLR 2027的评审经历让他感到前所未有的危机。

作者端：AI写作痕迹难以忽视

在3篇ICLR投稿中，只有1篇感觉是100%人类写作。其余论文带有明显的AI痕迹：过度使用描述性标题和营销式语言（如“理论预测性能，实证评估证实了这一点”），以及冗长密集的句子——用同义词反复替换已用术语，导致读者思路中断。这些特征虽无法确证，但足以让审稿人产生怀疑。

营销式语言在学术写作中的出现，可能与LLM的训练数据有关。LLM在大量网络文本（包括营销材料、博客文章等）上训练，倾向于生成具有说服力和吸引力的表述，而非严谨、中立的学术语言。例如，“理论预测性能，实证评估证实了这一点”这种表述，在营销中常见，但在学术论文中显得冗余且不够精确。此外，LLM常使用同义词替换来避免重复，但这可能导致术语不一致，增加读者的认知负担。学术写作强调精确性和一致性，而LLM的“同义词循环”可能破坏这一原则。识别AI生成论文的另一个线索是过度使用描述性标题（如“揭示……的机制”），这类标题在人类写作中较少见，因为人类作者更倾向于简洁、直接的标题。这些特征虽非确凿证据，但结合其他迹象（如语言风格突变），可提高怀疑度。

审稿端：AI生成的审稿意见泛滥

这位审稿人估计，他看到的审稿意见中约一半是完全由AI生成或经AI编辑的。语言缺乏变化，段落长度几乎一致，仿佛LLM被要求给出5个优点、5个缺点、5个问题。一些细节暴露了非人类痕迹：在“弱点”部分放置“给作者的问题”字段（疑似因为本轮字段名改为“具体反驳点”），在新字段中填“N/A”；过度精确地补充arXiv编号或DOI链接后额外写“(doi.org)”；使用智能引号、Unicode符号替代LaTeX（如用\tilde{d}的Unicode形式）、非连字符的破折号甚至用Unicode表示负号。这些审稿意见读起来像是为了公开消费而写，而非人类审稿人在时间压力下追求作者理解的沟通方式。

LLM（大语言模型）如GPT系列在学术评审中的滥用，部分源于会议评审系统的开放性。许多顶会采用双盲评审，但审稿人身份对作者匿名，而对审稿人而言，作者信息也通常隐藏。然而，审稿人可能使用外部LLM工具处理评审意见，甚至直接生成。LLM生成文本的典型特征包括：过度使用某些连接词（如“此外”“然而”）、段落结构高度一致、缺乏个人化的语气变化。这些特征与人类审稿人在时间压力下写出的简洁、有时不连贯的评论形成对比。此外，LLM倾向于生成“安全”的批评，避免过于尖锐或具体的负面评价，这可能导致评审意见缺乏深度和针对性。识别AI生成审稿意见的线索还包括：不自然的格式错误（如将字段名混淆）、过度使用Unicode字符（如智能引号、破折号）以及不常见的符号表示（如用Unicode负号代替连字符）。这些痕迹往往源于LLM在生成文本时对特殊字符的处理方式。

问题根源与可能的出路

审稿人承认自己也没有 concrete 的解决方案。他提出的唯一建议是：完全禁止AI写作，连润色风格和语气都不允许。作者可能觉得AI只改变了语气和风格，但读者有时能迅速“感觉”到。在强大LLM出现之前，我们并不基于语言评判论文。他知道这依赖荣誉系统，但认为这样也可以。允许“用AI润色”或许会制造用AI润色的预期。

荣誉系统（honor system）在学术评审中指依赖参与者自觉遵守规则，而非通过技术手段强制实施。在AI使用问题上，荣誉系统意味着要求审稿人和作者自觉不使用AI工具，或至少披露使用情况。然而，荣誉系统的有效性取决于社区共识和个体诚信。当AI工具易于获取且难以检测时，荣誉系统面临挑战。一些会议开始要求作者声明是否使用AI辅助写作，但执行力度有限。完全禁止AI写作的提议面临实际困难：如何界定“AI写作”？润色、语法检查、文献总结等工具的使用是否应被禁止？此外，检测AI生成文本的技术尚不成熟，误判风险高。因此，除了禁令，还需要讨论替代方案，如开发AI检测工具、加强评审过程监督、鼓励审稿人提供更具体的批评等。

多源视角：共识与分歧

据Reddit原帖和社区讨论，审稿人普遍认同AI生成内容正在污染评审过程。共识包括：AI审稿意见语言同质化、缺乏深度；作者端AI写作痕迹（如营销式标题）可被识别；完全禁止AI写作是值得考虑的方案。分歧在于：部分人认为AI辅助润色难以避免且有益，全面禁止可能不现实；另一些人则主张严格禁止，以维护评审诚信。单一来源的独特见解包括：智能引号和Unicode符号可作为AI生成的间接证据；字段名变更导致的错位（如“给作者的问题”出现在“弱点”部分）是AI审稿的典型破绽。

结语

学术评审依赖信任和荣誉系统，但AI的介入正在打破这种平衡。审稿人的警告并非杞人忧天——当审稿意见和论文本身都可能是AI生成时，评审过程的公正性和质量将面临严峻挑战。是时候认真讨论如何应对这一危机了。