无需证据标注：仅凭判决结果训练模型恢复法律文本依据

一个被忽视的现实：判决有了，依据却没留下

在大量审阅类工作流程中——合同审查、合规判定、法律裁决——最终被保留下来的往往只有结论本身。那些支撑结论的关键段落、引用的条款，通常不会被单独标注出来。原因很简单：标注这些证据段落的成本，远远高于单纯记录一个判定结果。

这就留下一个值得探讨的问题：如果训练数据里只有「判决结果」而没有「证据标注」，一个小型语言模型能在多大程度上自行恢复出背后的证据依据？一篇新发布的 arXiv 论文（arXiv:2610.06962）正是围绕这个问题展开实验。研究者在全程不使用任何人工证据标签的前提下，测试模型仅凭最终判定进行后训练后，能否重建出可供复核的引用依据。

准确率并不等于证据正确

研究使用了 ContractNLI 数据集，其中人工标注的证据段落被完全保留到评估阶段才使用，训练过程中对模型不可见。这样的设计揭示了一个核心洞见：匹配到正确的判决结果，和真正引用了正确的证据段落，是两件不同的事。

论文在六个系统上做了对比，发现这两项分数之间只存在弱相关性，而且对系统的排序结果也不一致。换句话说，一个在判决准确率上领先的模型，在证据定位（span F1）上未必更好。这意味着当引用必须是「可复核」的——比如法律或合规场景——单纯用准确率来衡量模型质量会产生误导。

这一点对实际应用的提醒相当直接：如果你的系统需要向人类审阅者展示「我依据的是这一条」，那么只看结论正确率是远远不够的。

ContractNLI 是一个专门为合同自然语言推理设计的基准数据集，包含 550 份非披露协议（NDA）和 17 条假设陈述。每个样本要求模型判定合同对某一假设是「蕴含（Entailment）」、「矛盾（Contradiction）」还是「中性（Not Mentioned）」，并同时标注出支持该判定的具体证据段落（evidence spans）。这种双层标注结构——既有结论标签，又有段落级证据——使它成为测试「结论正确率」与「证据定位能力」能否解耦的理想场所。Span F1 衡量的是模型预测的证据段落与人工标注段落之间的重叠程度，而逐字引用（verbatim citation）则进一步要求模型的引用文字与原文完全一致，是一个更严格的可复核性指标。

两条路径：仅标签训练 vs 拒绝采样

研究对比了两种不依赖证据标注的后训练方法。

仅标签训练（Label-Only）

这种方法直接用裸判决结果作为监督信号进行训练。结果上，它取得了 0.896 的准确率和 0.564 的 span F1。在逐字引用（verbatim citation）指标上，从训练前的 0.597 提升到了 0.729。可以看到，即便没有任何证据标注，模型也能在学习判决的过程中「顺带」学会定位更准确的引用段落。

拒绝采样（Rejection Sampling）

拒绝采样的思路不同：它让模型生成多条推理轨迹，只保留那些判决结果与记录一致的轨迹，然后再通过一个自动的「来源支撑度评分」（source-grounding score）从中挑选一条。这种方法达到 0.797 的准确率和 0.556 的 span F1，相比训练前的 0.747 和 0.493 都有提升。逐字引用从 0.597 升至 0.701。

两种方法的对比可以这样理解：仅标签训练在准确率上明显更高，而在证据定位和逐字引用上，两者表现接近，各有微弱优势。

拒绝采样（Rejection Sampling Fine-Tuning，RFT）是一种无需人工偏好标注的后训练范式，最初由 Meta 在 LLaMA 2 研究中推广。其核心思路是：让模型对同一输入采样多条输出，用一个外部标准（此处为判决结果是否正确）过滤掉错误样本，再用剩余的"成功轨迹"做监督微调。相比 RLHF（人类反馈强化学习），它不需要训练单独的奖励模型，也不依赖人类标注偏好对，实现成本更低。本文在此基础上额外引入了「来源支撑度评分」作为二次筛选条件——即在判决结果正确的样本中，进一步挑选引用段落与合同原文贴合度最高的那条轨迹，从而在不使用人工证据标注的前提下，隐式地向模型传递「哪种引用方式更可信」的信号。

数据背后的意义

把关键数字放在一起看会更清晰：

指标	训练前	仅标签训练	拒绝采样
准确率	0.747	0.896	0.797
Span F1	0.493	0.564	0.556
逐字引用	0.597	0.729	0.701

两种方法都在没有任何人工标注证据的情况下，提升了证据恢复能力。这是论文最有价值的结论：证据的改善并不一定需要昂贵的人工标注投入，判决结果本身就蕴含着足够的监督信号，可以被模型挖掘出来。

不过论文作者保持了相当的克制。他们明确指出，单一随机种子、单一语料库的实验无法断言哪种方法更优。这是一个诚实的限制声明——两种方法都有效，但孰优孰劣还需要更广泛的验证。

对实践者的启示

这项研究对构建可解释 AI 系统的团队有几点现实意义。

其一，评估指标的选择决定了你优化的方向。如果最终产品需要可复核的引用，就应该把 span F1、逐字引用这类证据指标纳入评估，而不是只盯着判决准确率。

其二，昂贵的证据标注可能不是必需品。在标注预算有限的场景下，用现成的判决记录做后训练，已经能带来可观的证据恢复提升。这对那些积累了大量历史判定数据、却没有段落级标注的机构尤其有吸引力。

其三，方法选择需要结合目标权衡。如果追求判决准确率，仅标签训练更有优势；如果更在意生成过程的可控性和来源支撑，拒绝采样提供了一个基于评分筛选的机制。

这篇论文规模不大，但它触及了一个被长期低估的工程现实：许多组织手里的数据只有「结论」，而 AI 恰恰可以帮助把那些丢失的「依据」重新找回来。