Peerify：让AI核查同行评审论断的基准测试研究

同行评审的验证难题

同行评审是学术出版的核心机制，但一个长期存在的痛点是：审稿人提出的论断是否真的有稿件内容作为依据，这个核查过程至今仍高度依赖人工，既耗时又难以标准化。当审稿人写下"该方法缺乏与基线的对比实验"或"实验设置存在偏差"这类评论时，编辑和作者往往需要逐字回溯原文来判断这些说法是否成立。

arXiv上一篇新论文提出的Peerify系统，正是瞄准这一环节。它构建了一条面向"稿件事实核查"的自动化流水线，试图判断每条审稿论断是否能在论文中找到支撑证据。

Peerify 的技术流程

Peerify 的核心思路可以拆成三个步骤。给定一篇稿件和一条评审意见后，系统首先将评论分解为原子论断（atomic claims）——即把一句复杂评论拆成若干个可独立验证的最小事实单元；随后检索相关的稿件证据，定位论文中与该论断对应的段落；最后判定每条论断是否被论文所支持。

这种"分解—检索—判定"的设计并非偶然。审稿评论往往结构复杂、指涉模糊，直接对整条评论做真伪判断准确率很低。将其拆解为原子论断，再逐一匹配证据，能显著降低歧义带来的干扰。论文的实验结果也印证了这一点：以检索为中心的验证策略和论断分解，是提升核查质量的关键。

原子论断分解（atomic claim decomposition）是近年来事实核查与检索增强生成（RAG）领域的常见预处理手段。其核心思想是：复杂的自然语言句子往往同时包含多个可独立为真或为假的命题，若将其整体视为一个验证单元，任何一处不成立都可能污染整体判断。以审稿意见"作者未与 SOTA 基线对比，且消融实验不充分"为例，这实际上包含两条独立论断，若某篇论文做了 SOTA 对比但消融不足，整句的真伪便无法简单界定。拆分为原子论断后，每条单独对应稿件中的具体段落或表格，检索和判定的粒度更细，也便于向编辑或作者报告哪些具体指控有据可查、哪些缺乏支撑。

800条论断的基准数据集

为了训练和评估这套流水线，研究团队构建了一个包含 800 条论断的基准数据集。这些论断来自 NeurIPS 2024 和 ICLR 2024 两个顶级机器学习会议的真实评审互动，具有相当的代表性和挑战性。

数据集中还包含一个 300 条人工标注的子集，专门用于审计自动化标注的可靠性。这个设计很重要：如果自动生成的标签本身质量存疑，那么后续所有基于它的评估都会失去意义。审计结果显示，自动标签与人类共识在 90.3% 的论断上保持一致，Cohen's Kappa 系数达到 0.87——这属于高度一致的水平，说明自动化监督信号具备足够的可信度。

Cohen's Kappa 系数是衡量两位评注者（或人工与自动系统）之间一致程度的统计指标，其取值范围为 -1 到 1。与简单的百分比一致率不同，Kappa 会扣除随机猜测带来的偶然一致，因此更能反映真实的标注质量。通常认为 Kappa > 0.80 属于"高度一致"，而该数据集达到 0.87，意味着自动标注系统与人类判断之间的分歧，基本不超出标注任务本身固有的主观差异范围。这一数值对于学术评审这种语义复杂的场景尤为重要——它从侧面说明研究团队用于训练和评估模型的"金标准"标签是可信赖的，而非噪声堆积的代理信号。

现成模型的表现差距

研究在 Peerify 流水线中评测了多种前沿语言模型和检索策略，并与蕴含（entailment）基线做了对比。结果揭示了一个明显的能力鸿沟。

直接使用现成的蕴含模型来判断论断真伪，宏平均 F1 值停留在 0.24 以下，表现相当有限。这说明传统的文本蕴含方法难以胜任学术评审这种专业、长文本、语义微妙的核查任务。相比之下，引入检索和论断分解的完整流水线大幅拉开了差距。

这一对比传递出的信号是：学术论断核查不是简单的"两句话之间是否矛盾"问题，而是需要在长篇稿件中精准定位证据、再做细粒度推理的复合任务。

文本蕴含（Textual Entailment），有时也称为自然语言推理（NLI），是指判断一段"前提"文本是否逻辑上支持另一段"假设"文本的任务。传统蕴含模型（如基于 SNLI、MultiNLI 数据集训练的分类器）通常在短句对之间运作，输入往往是一两句话的前提与假设，分类标签为"蕴含""矛盾"或"中立"。将这类模型直接迁移到学术评审场景面临两重挑战：其一，稿件是数千词的长文档，而非单句；其二，评审论断的语义往往需要跨越多个章节进行联合推理，无法简单地在一个段落窗口内解决。这解释了为何直接使用蕴含基线时 F1 值会低至 0.24 以下——任务的输入分布与模型训练时所见的样本存在根本性的域外偏移。

仍未解决的挑战

论文也坦诚指出了当前方法的局限。最大的难点来自模糊的、带解释性的审稿论断。有些评审意见本身就带有主观判断，比如对新颖性、贡献大小的评价，这类论断很难在稿件中找到明确的"支持"或"反对"证据，也很难界定客观的验证标准。

这恰恰是自动核查系统最脆弱的地方——它擅长处理"论文是否做了某项实验"这种可查证的事实性论断，却难以应对"这个改进是否足够重要"这类解释性判断。

对学术生态的意义

Peerify 代表了将大语言模型引入学术工作流的一个务实方向。它没有试图取代审稿人的判断，而是聚焦在一个具体、可衡量的辅助环节：帮助快速核对评审论断与稿件证据的对应关系。

随着投稿量持续膨胀、审稿负担日益加重，这类工具若能成熟落地，或许能在一定程度上缓解评审质量参差和作者申诉核查的压力。当然，从一个基准测试研究到真正可用的编辑辅助系统，中间还有不小的距离，尤其是在处理主观论断和保证公平性方面。这项工作提供的数据集和评测框架，为后续研究打下了可复现的基础。