混合检索+NLI+开源LLM做科学论断验证，融合规则为何反而掉分？

科学论断验证（Scientific Claim Verification）要判断一段来源文本是支持、反驳某个论断，还是证据不足。这个任务看起来是自然语言推理（NLI）的主场，但一项新的实验研究给出了更微妙的答案：NLI 在单句证据上尚可，面对跨句证据却力不从心；开源大模型能跨句推理，却可能得出文本并不支持的结论。研究者试图用一条保守的融合规则把两者优势拼起来，结果却发现融合反而拉低了性能。

任务设定：三类判断与一个容易被忽视的类别

论断验证不是简单的二分类。研究把判断分为 Support（支持）、Contradict（反驳）和 Not Enough Evidence（证据不足）三类，其中最后一类在真实科学文献场景中占比很高。作者从 SciFact 和 CliniFact 两个数据集构建了包含 2,035 条论断的基准，分布为 858 条支持、152 条反驳、1,025 条证据不足。

这个分布本身说明了问题：反驳样本稀少，证据不足样本接近一半。任何模型如果倾向于给出非黑即白的判断，都会在这个基准上吃亏。这也是理解后续实验结果的关键背景。

Macro-F1 是评估多分类任务时常用的指标，它先分别计算每个类别的 F1 值（精确率与召回率的调和平均），再对所有类别取算术平均。与微平均 F1 不同，宏平均对每个类别一视同仁，不会因为某个类别样本多就赋予更高权重。本文基准中「证据不足」类接近一半、「反驳」类仅 152 条，若用准确率或微平均 F1，模型只要倾向于预测多数类就能取得看似不错的分数；而 Macro-F1 会放大少数类上的错误，因此更能反映模型在三类判断上的均衡能力。这也解释了为什么 NLI 基线在 Macro-F1 上只有 0.3157——它在稀少的「反驳」类和「证据不足」类上几乎失效，宏平均把这一缺陷充分暴露出来。

检索环节：语义加词法的混合检索略胜一筹

每条论断先要找到相关证据句。研究采用语义检索与词法检索（BM25）的混合方案，为每条论断取回最相关的五句话，再把这些句子提供给所有验证模型。

结果显示，混合检索的表现略优于单独使用语义检索或 BM25。这个结论并不意外——语义检索擅长捕捉同义改写，BM25 擅长精确术语匹配，科学文本恰好两者都需要。说个细节，检索质量在这里是公共变量：所有验证模型拿到的是同一批检索句，因此后续的性能差异主要来自模型本身的判断能力。

BM25 是一种经典的词法检索算法，属于稀疏检索家族。它基于词项匹配打分：查询中的词在文档中出现得越多、越稀有，得分越高，同时对文档长度做归一化以避免长文档占优。BM25 不依赖向量表示，因此对精确术语、缩写和数字高度敏感，但无法处理同义替换或 paraphrasing。语义检索则把查询和文档映射到稠密向量空间，通过余弦相似度召回，擅长捕捉语义相近但措辞不同的句子。科学文本中既有大量规范术语（利于 BM25），又存在定义改写和跨句表述（利于语义检索），两者互补正是混合检索略胜的原因。常见做法是对两路得分做归一化后加权融合，或使用倒数排名融合（RRF）合并排名。

模型对比：Qwen3 领先，NLI 基线大幅落后

研究比较了一个 NLI 基线模型（DeBERTa-v3-base-mnli-fever-anli）与三个开源大模型：Llama 3.1 8B、Qwen3 8B 和 Mistral 7B。

结果差距明显。Qwen3 取得最高的 Macro-F1（0.7937），Llama 3.1 为 0.7204，Mistral 为 0.6388，而 NLI 基线只有 0.3157。NLI 模型与 LLM 之间的差距不是小幅落后，而是数量级上的能力差异——这与其设计定位一致：NLI 模型擅长判断单句蕴含关系，但检索回来的五句话是分散的证据，跨句整合超出了它的训练目标。

三个 LLM 之间也存在梯度。同为 8B 量级附近，Qwen3 的表现明显优于 Llama 3.1 和 Mistral，说明在科学文本的细粒度判断上，模型间的差异不能简单用参数量解释。

DeBERTa-v3-base-mnli-fever-anli 是一个在自然语言推理数据上微调的判别式模型。DeBERTa-v3 通过解耦注意力机制和 ELECTRA 式预训练提升了编码器性能；该检查点先后在 MNLI、FEVER 和 ANLI 上训练，因而具备判断「前提—假设」之间蕴含、矛盾或中立关系的能力。它的输入形式通常是「前提句 [SEP] 假设句」，输出三类概率，本质上是句子对级别的分类器。这种架构天然适合单句证据的蕴含判断，但没有为多句证据聚合而设计——当输入是五句分散的检索结果时，模型缺乏显式的跨句推理机制，这正是它在本文基准上大幅落后的结构性原因。

融合规则失效：一致才表态，反而拖累整体

研究者的假设很直观：既然 NLI 和 LLM 各有所长，那就采用一条保守的融合规则——只有当两个模型都给出一致判断时才标注 Support 或 Contradict，否则默认输出 Not Enough Evidence。理论上这能过滤掉单模型的过度自信。

实验结果与假设相反。融合后 Macro-F1 分别降到 0.7392（Qwen3）、0.6730（Llama 3.1）和 0.5991（Mistral），三个模型全部低于各自单独使用的成绩。

为什么保守规则会伤害性能？关键在于 NLI 基线的判断质量太低。当 NLI 频繁给出与 LLM 不一致的判断时，融合规则会把大量本来正确的 LLM 预测改判为证据不足。保守策略的前提是双方都有一定的可靠性，而在这个设定下，弱势一方的噪声抵消了强势一方的正确判断。

错误分析：分歧往往意味着 LLM 是对的

为了解释性能下降，研究分析了两个验证器之间的一致、分歧和常见错误模式。核心发现是：NLI 与 LLM 的分歧中，相当一部分是 LLM 的正确答案被 NLI 的错误判断推翻。

换句话说，融合规则并没有起到「双重校验」的作用，更像是在正确输出上叠加了一层噪声。这也提示了一个更普遍的工程教训：模型融合不是无条件的增益手段，当参与融合的组件能力差距过大时，简单的投票或一致性规则可能适得其反。

模型融合（ensemble） 的经典假设是「群体智慧」：多个模型的误差相互独立时，投票或平均能抵消个别错误，提升整体鲁棒性。但这一假设成立需要两个前提——各成员的能力水平大致相当，且错误模式互不相关。如果其中一个成员明显弱势，它的错误就不再是随机噪声，而是系统性偏差；此时一致性规则会把弱势成员的错误当作否决票，压制强势成员的正确判断。本文的保守融合正是踩中了这一陷阱：NLI 基线在跨句证据上的系统性失效，使「双方一致才表态」的规则频繁把 LLM 的正确答案改判为证据不足。工程上更稳妥的做法是按验证集表现对成员加权，或设置置信度阈值而非硬性一致。

对实践的启示

这项实验的价值不在于否定融合思路，而在于划定了它的适用边界。如果要在论断验证任务中引入融合，至少需要考虑三点：参与融合的模型能力应大致可比；融合规则应对不同模型的可靠性加权，而非等权一致；证据不足类别的判定需要单独设计，因为它在数据中占比高且最容易被保守规则误伤。

对于直接落地科学论断验证的场景，研究给出的信号很清晰：在当前的开源模型水平下，选择推理能力更强的 LLM 单独使用，比搭一个能力不匹配的融合管线更可靠。检索侧的混合方案则是低成本的正向改进，值得优先采用。