[控场AI]
· 5 分钟阅读· 2,575 字

顶会论文质量崩盘?ICLR审稿人吐槽:连研讨会都不该收

顶会论文质量崩盘?ICLR审稿人吐槽:连研讨会都不该收

Reddit审稿人吐槽ICLR和AAMAS投稿质量差到连研讨会都不该收,引发对顶会审稿生态的讨论。

一位同时负责ICLR和AAMAS审稿的研究者在Reddit发帖,称经手的八篇投稿质量“差得离谱”,甚至建议作者“没准备好就别投”,引发学术圈对顶会论文质量下滑的热议。文章分析认为,投稿量激增导致审稿人超载,低质量稿件进一步恶化审稿生态;首次投稿者缺乏导师反馈和研究设计不完整是常见原因,但也存在策略性投稿的激励错位。社区反应既有共鸣也有反驳,指出审稿评价存在主观性和随机性。文章最后给出实用建议:投稿前找有经验的同行预审,确认研究问题清晰、实验完整、写作规范,再提交。

Reddit上一位同时负责ICLR和AAMAS审稿的研究者发帖直言,自己经手的八篇投稿质量“差得离谱”,甚至建议作者“没准备好就别投”,引发学术圈对顶会论文质量下滑的热议。

reddit source: Conference papers are cooked! [D]

审稿人的愤怒:连研讨会门槛都够不上

这位审稿人写道,自己手上有三篇ICLR论文和五篇AAMAS论文要审,但质量之差让他“甚至不愿意把它们录进研讨会(workshop),更别提主会了”。他特别提到,如果是第一次投稿的新人,务必先找导师或同行给出反馈,否则只是在浪费大量审稿人的时间。

这番话虽然情绪化,却戳中了不少学术工作者的共鸣。顶会投稿量逐年膨胀,审稿池却相对固定,单个审稿人分到的稿件数量不断上升,遇到低质量投稿时的挫败感也被放大。

投稿量与审稿质量的恶性循环

AI顶会的投稿规模近年持续扩张,ICLR、NeurIPS等会议的投稿数屡创新高。投稿量激增带来两个直接后果:一是审稿人严重超载,每人需要处理的论文数量远超合理负荷;二是审稿意见的平均深度下降,真正有价值的反馈变少。当审稿人把精力消耗在明显不成熟的稿件上时,认真打磨过论文的作者反而可能得到更草率的评价。

这位Reddit用户的抱怨,本质上是这个结构性矛盾的个体表达。

ICLR(International Conference on Learning Representations)是深度学习领域的顶级会议,以开放评审(open review)著称,所有投稿和审稿意见公开可见;AAMAS(International Conference on Autonomous Agents and Multiagent Systems)则是多智能体系统领域的旗舰会议。两者审稿流程和社区文化差异较大,但投稿量都在快速增长。一位审稿人同时承担两个不同领域顶会的审稿任务,本身就反映了当前AI会议审稿人池的紧张——会议组织者往往需要跨领域招募审稿人,而审稿人自身也面临跨领域评审的认知负担。

研讨会(workshop)通常附属于主会,审稿标准低于主会,接收率更高,常被视为早期工作的展示平台。审稿人用“连研讨会都不该接收”来形容稿件质量,意味着这些投稿在研究完整性、实验充分性或写作规范上存在明显缺陷,已经低于学术会议的最低门槛。

NeurIPS(Conference on Neural Information Processing Systems)是机器学习领域规模最大的顶级会议之一,近年投稿量已突破两万篇。ICLR的投稿量也从2017年的约500篇增长到近年数千篇级别。这种指数级增长背后,是AI领域研究者数量的快速膨胀、毕业发表要求的刚性化,以及预印本文化下“先投再改”策略的流行。

审稿人池的扩张速度远跟不上投稿量增长:合格审稿人通常需要具备相关领域的发表经验,而资深研究者时间有限,会议不得不大量启用博士生甚至低年级研究者担任审稿人。审稿人超载的直接后果是每篇论文获得的审稿时间和注意力下降,审稿意见趋于模板化、表面化。更隐蔽的影响是,审稿人面对大量低质量稿件后容易产生“审稿疲劳”,对后续稿件也降低投入意愿,形成质量感知的负向螺旋。

问题出在哪:新人缺指导,还是激励错位?

帖子没有具体说明论文差在哪些方面,但从“请先找导师反馈”的呼吁可以推断,问题很可能集中在研究设计不完整、实验不充分、写作不规范这些基础层面,而非单纯的英文表达问题。

首次投稿者的困境

对很多低年级研究生来说,顶会投稿常常是毕业要求或导师项目的硬指标。在缺乏系统指导的情况下,学生容易把“完成一篇论文”等同于“可以投稿”,忽略了同行评议本身是一场对研究成熟度的检验。

在AI领域,顶会论文已成为许多实验室毕业要求的硬性指标,部分导师甚至将投稿数量与项目结题、学生考评挂钩。这种激励结构下,学生面临的时间压力与论文成熟度之间存在天然张力:一篇真正扎实的论文往往需要数月甚至一年的迭代,而毕业窗口和项目截止日期不会等待。

首次投稿者常犯的错误包括:将课程项目或初步实验直接包装成完整论文、缺少消融实验和基线对比、相关工作综述流于罗列而非批判性分析、写作中混淆贡献与实现细节。这些问题的根源往往不是态度问题,而是缺乏对“什么样的研究才算成熟”的隐性标准认知。导师和资深同行的预审之所以关键,正是因为他们能提供这种标准校准——指出哪些缺陷在审稿人眼中是致命的,哪些是可以在 rebuttal 阶段补救的。

投稿策略的异化

另一种可能是策略性投稿:部分作者抱着“广撒网、碰运气”的心态,把明显不成熟的稿件投往顶会,指望靠运气或侥幸过审。这种行为在投稿量巨大的会议中尤其伤害审稿生态。

社区反应:共鸣与反驳并存

说一下,上述具体评论来自单一Reddit帖子,尚未看到系统性的社区反馈数据。但从AI学术社区近年围绕审稿质量的讨论来看,这类抱怨并不孤立。

一种常见反驳是:审稿人眼中的“差论文”,有时是领域视角差异或写作风格不适应所致,未必全是质量问题。此外,顶会审稿本身也存在随机性,同一篇论文在不同审稿人手中评价可能天差地别。因此,把责任完全推给作者并不全面。

会议方能否做得更多

一些会议已尝试用desk reject(直接拒稿)、强制格式检查、审稿人培训等机制过滤明显不合格的投稿。但从这位审稿人的经历看,这些措施的效果仍然有限。

给投稿者的实用建议

抛开情绪,这条帖子给出的建议其实很实在:投稿前先找有经验的同行把关,确认研究问题清晰、实验设计完整、写作达到基本规范,再提交。对首次投稿者而言,一次认真的预审反馈,可能比多投三个会议更有价值。

审稿是学术共同体的公共资源。投稿前多花一周打磨,可能就为审稿人省下几个小时——这对整个生态都是正收益。

reddit source: Conference papers are cooked! [D]

#ICLR审稿#AAMAS#顶会论文质量#学术投稿#同行评议#审稿人#论文投稿建议
分享:

相关推荐