拒绝引用无法核实法律的AI助手：AILegal如何用工程手段杜绝法律幻觉

法律AI最危险的失败模式，不是拒答，而是自信地引用一条看似合理、实则不存在的法条。AILegal团队在构建面向无力聘请律师人群的法律助手时，把「绝不陈述未经官方来源验证的法律事实」作为唯一铁律，并围绕这条规则设计了一整套可执行的工程架构。本文拆解其技术方案、实测数据与尚未解决的问题。

从一次真实失败说起：看似正确的引用最致命

早期版本采用常见做法：精心设计的提示词、把语料塞进上下文窗口、要求「只根据这些来源回答」。这套方法在表面上看不出问题，但人工核查后暴露了两类错误。

其一是编造法条编号——助手引用了「18 U.S.C. § 301」，而这个条款形式根本不存在。其二是张冠李戴——它引用了英国《1974年消费信贷法》第157条，这一条确实存在，但内容与用户问题毫无关系。

原作者点出了关键：这两个回答「看起来」都不像错的。一个貌似可信的引用，比一个明显的拒答危险得多，因为用户没有能力分辨。这也是法律AI区别于一般问答产品的核心风险——错误答案的代价可能是错过诉讼时效。

把验证做成数据结构，而不是提示词

AILegal的核心设计思路是：不依赖提示词约束模型行为，而是把每一条法律规范变成结构化记录。

Norm 记录包含什么

每条规范以 Norm 对象存储，字段包括唯一ID、法条编码（如「15 U.S.C. § 9058(c)」）、司法辖区、经过人工审校的平实语言摘要、官方来源URL、所核查版本的哈希值、核查时间，以及最关键的 verified 布尔标记。

目前语料库共有53条规范：俄罗斯11条、美国26条、英国9条、加拿大7条。规模不大，但每条都可追溯、可复核。

定时任务与哈希校验

系统每三天运行一次计划任务，抓取每个官方来源，要求摘要中的数字和术语确实出现在抓取文本中，并存储所核查版本的哈希。如果哈希发生变化，该规范会被标记，等待人工重新核查。

这里有一个刻意为之的设计：verified 标记绝不由机器设置。脚本只能证明「文本确实说了我们声称的内容」，而「这条规范能否用于应对一个截止日期」必须由人判断。作者明确指出，混淆这两种判断，正是法律AI开始凭空造法的根源。

哈希校验（Hash Verification）是这里的关键机制。哈希函数（如SHA-256）能将任意长度的文本映射为固定长度的指纹，文本任何微小改动都会导致哈希值完全不同。AILegal在核查时存储官方来源页面的哈希，三天后重新抓取并计算新哈希；若两者不一致，说明源文本已被修改（例如法条修正、页面更新），系统随即标记该规范为待复核，阻止其继续用于生成答案。这一机制解决的是法律信息的时效性问题：法条会修订，而模型训练数据是静态的。哈希比对提供了一种低成本、可自动化的变更检测手段，但正如作者强调的，它只能证明「文本变了」，不能判断「变化是否影响法律结论」——后者仍需人工介入。

回答时的「闸门」机制

在生成回答时，规则刻意设计得很「无聊」：如果某条规范未被验证，助手不会给出由它推导出的截止日期或条款编号，而是明确说明无法确认，并追问缺失的事实信息。

团队还测量了一个「软」分类器的效果，用于通过词干相似度捕捉转述表达。在31条测试转述中，精确匹配阶段解决了12条；软匹配阶段又为14条补充了提示，其中8条正确，精确率约57%。这个数字远不足以支撑直接回答法律问题——每两个提示中就有一个指向别的问题。因此软匹配阶段只负责提出澄清性问题，永不输出结论。

软匹配分类器与精确匹配的对比值得展开。精确匹配要求用户查询中的关键词与规范摘要中的词条完全一致（或经简单词干化后一致），召回率低但精确率高。软匹配则通过词干相似度（如将「вычисли」与「вычислять」归为同一词干）捕捉转述表达，扩大召回范围，但代价是引入大量误报——测试中57%的提示指向了错误规范。AILegal的工程取舍是：软匹配阶段只用于生成澄清性问题（「您是指……吗？」），绝不直接输出法律结论。这种「分级置信度」设计将高精确率路径用于最终答案，低精确率路径仅用于交互引导，从而在召回与精度之间取得安全平衡。

尚未解决的问题：同义词与语义表示

最大的短板在近义词识别。俄语中「вычисли」与「посчитай」、「списали」与「удержали」——用词不同、含义相同，在没有同义词源的情况下，相似度打分无法区分。

团队尝试了本地嵌入模型（nomic-embed-text、qwen3-embedding）处理标准转述，结果落在top-3/top-4，余弦差距仅0.001–0.03，属于噪声级别。作者给出的结论值得注意：真正的解法不是换更好的模型，而是为每条规范建立语义表示——由人工撰写并审核日常搜索说法。这是法律工作，不是提示词微调。

这也揭示了一个更广泛的行业判断：当任务要求高精度时，模型能力的边际提升往往不如高质量的领域数据结构有效。

嵌入模型（Embedding Model）将文本映射为高维向量，语义相近的文本在向量空间中距离更近，通常用余弦相似度衡量。AILegal尝试的nomic-embed-text和qwen3-embedding是本地可运行的开源嵌入模型，无需调用外部API，适合法律数据隐私要求。然而测试显示，标准转述之间的余弦差距仅0.001–0.03，而不同含义文本的差距也在同一量级——这意味着模型无法可靠区分「同义转述」与「无关表述」，相似度打分退化为噪声。作者由此得出结论：对于法律这种精度要求极高的领域，通用嵌入模型的语义区分力不足，需要为每条规范人工构建「语义表示」（即列举该规范对应的各种日常说法），这本质上是领域知识工程，而非模型选型问题。

为什么「无聊的失败」反而值得追求

如果你问法律助手「截止日期是什么时候」，它自信作答，你无法分辨这是已验证答案还是幻觉。闸门机制把失败模式变得可预期：「我无法从官方文本中确认这一点。」当错误答案的代价是错过法院期限时，这种可预期正是产品最需要的品质。

团队公开邀请用户尝试攻破系统：任取一条规范，与其链接的官方来源比对，尝试让助手说出源文本中不存在的内容。这种对抗性验证思路，值得其他高风险领域的AI产品借鉴。需注意，该产品不构成法律建议，法律内容支持俄语和英语，界面支持更多语言。