ICLR 评审评分制度生变：四档打分引发争议

ICLR 评审评分范围再度调整

一位 ICLR 审稿人在社区分享了今年领取三篇论文进行评审时的发现：会议再次修改了评审评分区间。与以往熟悉的多档细粒度评分不同，新的评分体系被压缩为仅有四个等级。

根据该审稿人贴出的评审界面原文，新的核心评审问题变成了："基于你对投稿的总体评估，你推荐的决定是什么？请综合考虑论文的整体可靠性（soundness）、重要性（significance）、清晰度（clarity）与贡献（contribution）。"对应的评分选项如下：

• 1：明确拒绝（Clear rejection）
• 2：弱拒绝（Weak rejection）
• 3：弱接受（Weak acceptance）
• 4：明确接受（Clear acceptance）

这意味着审稿人只能在"拒"与"收"两个大方向下各做出"强"或"弱"的判断，评分维度被大幅收窄。

为什么压缩评分区间引发担忧

这位审稿人的第一反应是"非常奇怪"，认为如此剧烈地压缩评分范围"没有太大意义"。这种疑虑并非毫无根据。

长期以来，机器学习顶会普遍采用较宽的评分区间（例如 1 到 10，或 1 到 8 的多档体系），目的在于让审稿人能够表达更细腻的态度——一篇论文究竟是"可收可不收的边缘之作"，还是"必须接收的重磅工作"，差异可以通过分数明确体现。宽区间也为后续的区域主席（AC）和程序主席提供了更丰富的排序信号。

新的四档制取消了中间的模糊地带，强迫审稿人在"倾向拒"和"倾向收"之间二选一。它最大的变化在于彻底移除了中立选项：审稿人无法再给出"borderline"式的中间分，必须明确表态。

区域主席（Area Chair，AC）是顶会评审流程中的关键角色，负责监管一组论文的评审过程，综合多位审稿人的意见后向程序主席提出录用或拒绝建议。在宽评分区间体系下，AC 可以通过数值差异快速识别出分歧论文或明显强论文，从而合理分配精力——对评分一致的论文快速决策，对分歧较大的论文深入介入。程序主席（Program Chair）则在更高层面设定录用率、校准全局标准。四档制压缩了这条信息链的起点，AC 和程序主席获得的量化信号更少，在投稿量动辄数千篇的情况下，这对流程效率的影响不可忽视。

四档制背后的可能意图

评分区间的收窄，往往反映了会议组织方对评审行为的某种矫正意图。在过往的宽区间体系下，常见的问题包括：

• 分数扎堆中段：大量审稿人倾向于给出"安全"的中间分（如 5、6 分），回避明确立场，导致 AC 难以据此做出决策。
• 分数通胀与标准漂移：不同审稿人对同一分值的理解差异巨大，削弱了分数的可比性。
• 决策信号模糊：当多数论文都聚集在边缘分数时，最终录取更依赖主观讨论而非评分本身。

强制四档制的设计逻辑，正是要逼迫审稿人在阅读论文后给出一个决策导向的判断：你到底是支持录用还是反对。它把评分从"质量打分"重新定义为"录用建议"，这在表述上也体现得很清楚——问题直接问的是"推荐的决定"，而非抽象的质量分值。

对投稿者与审稿流程的潜在影响

对投稿作者而言，四档制意味着评审结果会更加"非黑即白"。一篇论文得到的三个评分之间的分歧会更加显性化：当评审意见出现 2、2、3 这样的组合时，边缘案例的拉锯将更多转移到 rebuttal（反驳）阶段和 AC 的权衡上。

同时，细粒度信息的丢失也可能带来新的问题。在旧体系下，一篇获得"6 分"的论文和"8 分"的论文虽同属接收倾向，但热情程度一目了然；在新体系下，两者都只能落入"弱接受"或"明确接受"，中间的差异需要靠评审文字（而非分数）来传达。这实际上提高了对审稿评语质量的依赖——分数变简单了，文字却必须承担更多信息量。

Rebuttal（作者反驳）阶段是顶会评审流程中的一个环节，允许作者在看到初始评审意见后提交简短回复，澄清误解或补充实验。这一机制的存在正是为了处理边缘案例——当评审意见分歧较大时，作者的回复有时能显著影响审稿人的最终立场。在四档制下，由于分数本身不再携带"有多强烈"的信息，具有 2、3 分歧的边界论文在 rebuttal 阶段的博弈会更依赖文字论证，也对 AC 的主观判断提出更高要求。这既可能让真正有说服力的 rebuttal 发挥更大作用，也可能放大 AC 个人偏好对最终结果的影响。

评审机制仍在持续演进

值得关注的是，这已不是 ICLR 第一次调整评分体系——发帖者用了"again（又一次）"来形容本次变化，说明会议在评审机制上一直处于探索与迭代之中。随着投稿量逐年爆炸式增长，顶会在评审效率、一致性与公平性之间不断寻找平衡，评分区间的设计正是这种博弈的集中体现。

目前这一变化尚处于社区讨论和实际运行的早期阶段，其效果如何仍有待观察。正如该审稿人所言："我们走着瞧（but we'll see）。"无论四档制最终是提升了决策清晰度，还是因为信息损失而引发新的争议，它都反映出学术评审体系在大规模投稿时代面临的真实挑战。

注：本文基于 Reddit 社区单一来源的审稿人分享整理，具体评分规则以 ICLR 官方评审指南为准。