SAGE框架：用主观性语言特征检测AI生成审稿意见

为什么AI生成的审稿意见需要专门检测

随着大语言模型在学术写作中的普及，AI生成的同行审稿意见正成为学术诚信的新挑战。传统的AI文本检测器往往依赖统计模式或水印技术，但面对精心调校的生成文本时，这些方法容易失效。一篇来自arXiv的论文提出了SAGE（Subjectivity-Aware Generation Estimator）框架，从语言学的“主观性”出发，为AI生成审稿意见的检测开辟了一条可解释的新路径。

SAGE框架示意图

SAGE的核心洞察是：人类审稿人在评价论文时，会自然地流露出主观判断、模糊限制语和特定的言语行为，而AI生成的文本往往在这些维度上表现出系统性差异。研究者将主观性拆解为两个层次——语义层的评价性语言与情态，以及语用层的言语行为，并据此构建轻量级分类器。

SAGE如何量化“主观性”

语义层：评价性语言与情态

在语义层面，SAGE关注审稿意见中表达评价的词汇和情态动词。人类审稿人常使用“可能”“似乎”“我认为”等表达不确定性的情态词，也会用“不足”“有力”“令人信服”等评价性形容词。这些语言特征反映了审稿人的主观立场，而AI生成的文本在这些维度上可能过于中性或模式化。SAGE利用模型预测的主观性分数作为特征，捕捉这种微妙的语言差异。

情态（modality）是语言学中表达说话人对命题态度（如可能性、必要性、确定性）的语法范畴。在英语中，情态通常通过情态动词（may、might、could、should、must）及情态副词（possibly、probably、certainly）实现。系统功能语言学（Halliday）将情态分为情态化（modalization，涉及可能性与通常性）和意态化（modulation，涉及义务与意愿）。审稿意见中的情态使用反映了审稿人对论文质量判断的确定程度：人类审稿人常以“might”“seems”等低值情态软化批评，保留商榷空间；AI生成文本则可能过度使用高值情态或情态分布异常均匀。SAGE将情态词频与类型作为语义层特征，正是利用了这一系统性差异。

语用层：言语行为标注

在语用层面，SAGE引入言语行为理论，对审稿意见中的句子进行标注，例如“建议”“批评”“提问”“总结”等。审稿意见是一种高度结构化的言语行为序列，人类审稿人通常遵循“总结-评价-建议”的语用模式，而AI生成的文本可能在言语行为的分布和转换上存在偏差。SAGE从这些标注中提取特征，训练分类器。

言语行为理论（Speech Act Theory）由Austin（1962）提出、Searle（1969）系统化，核心观点是“说话即做事”——语言不仅描述世界，还执行行为（如承诺、请求、批评）。Searle将言语行为分为断言、指令、承诺、表达和宣告五类。在同行审稿语境中，典型言语行为包括总结论文贡献（断言）、指出不足（表达/断言）、提出修改建议（指令）和提问（指令）。审稿意见的语用结构具有体裁规约性：经验丰富的审稿人通常按“总结—批评—建议”顺序组织话语，而言语行为的类型分布和序列转换模式可作为文体指纹。SAGE对句子进行言语行为标注并提取分布特征，正是将这一语用学框架转化为可计算信号。

检测性能：轻量级但高效

SAGE仅使用上述语言学特征训练了一个轻量级分类器，在独立测试中达到了0.9566的AUROC。这一结果说明，主观性语言特征本身就具有强大的区分能力，无需依赖大规模预训练模型或复杂的集成方法。

更说个细节，SAGE的输出可以与当前最先进的检测器Sem-Detect结合。在APRDB基准上，将SAGE与Sem-Detect融合后，Sem-Detect在1%假阳性率下的真阳性率从0.874提升至0.985，超越了现有最优水平。这种即插即用的特性让SAGE能够低成本地增强已有检测系统。

AUROC（Area Under the Receiver Operating Characteristic Curve）是二分类检测任务中最常用的阈值无关指标，取值0.5表示随机猜测、1.0表示完美区分。0.9566的AUROC意味着随机抽取一个AI生成样本和一个人类样本时，模型有95.66%的概率给AI样本更高的AI概率分数。在学术诚信检测这类高风险场景中，固定假阳性率（FPR）下的真阳性率（TPR）更具实践意义：1% FPR意味着误判人类文本为AI的概率仅1%，在此严格约束下TPR越高，系统越可用。SAGE与Sem-Detect融合后将1% FPR下的TPR从0.874提升至0.985，表明其增量价值主要体现在低误报工作区间，这恰是实际部署中最关键的区间。

可解释性与开源贡献

SAGE的另一个优势在于可解释性。与黑箱检测器不同，SAGE的每一个特征都对应具体的语言学概念，例如某个情态词的使用频率或某种言语行为的比例。当SAGE判定一段文本为AI生成时，研究者可以追溯是哪些语言特征触发了判断，这对于学术诚信调查中的申诉和复核尤为重要。

研究团队已将代码和模型公开在GitHub（Arys02/generated_text_detection_hub）和Hugging Face（Arys02）上，方便其他研究者复现和集成。这种开放态度有助于推动AI生成文本检测领域的标准化比较和持续改进。

局限与未来方向

SAGE目前聚焦于同行审稿意见这一特定体裁，其语言学特征是否适用于其他类型的学术文本（如论文正文、基金申请）尚需验证。此外，主观性特征可能受到审稿人个体风格、领域惯例和文化背景的影响，跨领域泛化能力有待进一步研究。但无论如何，SAGE提供了一种可解释、可集成的检测思路，为应对AI生成内容带来的学术诚信挑战提供了新的工具。