AI伪造引用泛滥：律师提交虚假判例将面临法律制裁

当AI幻觉走进法庭

生成式AI正以前所未有的速度渗透进各行各业，法律行业也不例外。然而，一个日益严重的问题正在引发司法系统的警觉：越来越多的律师在使用ChatGPT等AI工具起草法律文书时，直接采信了AI凭空捏造的判例引用，最终酿成职业危机。

据HackerNews社区讨论及相关司法动态，多个司法管辖区已开始明确表态——使用AI并因此提交虚假引用（fake citations）的律师，可能面临包括费用承担在内的严厉制裁（sanctions）。这不仅是一个技术问题，更是一个关乎职业操守与司法诚信的重大议题。

什么是AI"幻觉"引用

大模型为何会"编造"判例

生成式AI的核心机制是基于概率预测下一个词元（token），而非从数据库中检索真实事实。这意味着当模型被要求提供法律判例时，它会生成"看起来非常真实"的案例名称、法院编号和判决摘要——但这些内容可能完全不存在于现实中。

要理解这一现象，需要回溯到大语言模型的底层架构。当前主流的生成式AI（如GPT系列、Claude等）均基于Transformer架构，采用自回归（autoregressive）生成方式——即模型每次只预测序列中的下一个token，然后将预测结果作为输入继续生成后续内容。整个过程本质上是一种"模式匹配+概率采样"，模型在训练阶段从海量文本中学习了语言模式、句式结构和知识片段，但它并不维护一个可查询的事实数据库，也没有内置的"真假判断"机制。

Transformer架构由Google团队在2017年发表的里程碑论文《Attention Is All You Need》中首次提出，其核心创新在于自注意力机制（self-attention），使模型能够在处理序列数据时同时关注输入中所有位置的信息，而非像此前的循环神经网络（RNN）那样只能逐步处理序列。具体而言，自注意力机制中的Query-Key-Value计算方式使得模型在生成每个token时，会对上下文中所有先前位置赋予不同的"注意力权重"。在法律文本生成的具体场景中，这种架构的特性意味着模型能够精准地捕捉到法律文书的长距离依赖关系——比如判例引用格式中案例名称、法院层级、卷号和页码之间的统计关联模式——但这种捕捉完全基于语料中的统计规律，而非对法律内容的语义理解。当模型开始输出一个判例引用的案例名称后，后续生成的法院编号、卷号等会受到该名称的强烈统计影响——模型会选择在训练数据中与类似名称模式共现概率最高的数字和格式，而非检索真实数据库。这种机制解释了为何AI生成的虚假判例在格式上几乎完美，却在实质内容上完全虚构。此外，生成过程中的温度参数（temperature）和top-k/top-p采样策略设置也会显著影响幻觉发生的概率：较高的温度值使输出更具"创造性"和多样性，但同时也更容易偏离事实，生成不存在的判例信息。

当被要求提供判例时，模型会根据训练数据中法律文书的格式模式，生成符合"案例名称 v. 案例名称, 法院编号, 年份"这种格式的内容，但其中的具体元素可能是从不同真实案例中随机组合而来，或完全由概率分布"涌现"出来。值得一提的是，美国法律判例引用遵循标准化的"蓝皮书"（The Bluebook）格式，由哈佛、耶鲁、哥伦比亚和宾夕法尼亚大学法学院的法律评论编辑联合编撰。标准引用格式如"Brown v. Board of Education, 347 U.S. 483 (1954)"包含了当事人名称、报告集卷号、报告集缩写、起始页码和年份等精确信息。Westlaw和LexisNexis各自维护着覆盖数百万份判决的全文数据库，并提供独有的编号系统（如West的Key Number System和Lexis的Headnotes系统）。AI模型从训练数据中学习了这种高度结构化的格式，使其生成的虚假引用具有极强的欺骗性——即便是经验丰富的律师，仅凭引用格式本身也难以立即判断真伪。

这种现象被称为AI"幻觉"（hallucination）。在技术层面，幻觉可分为两类：内在幻觉（intrinsic hallucination），即生成内容与训练数据矛盾；外在幻觉（extrinsic hallucination），即生成内容无法从训练数据中得到验证。法律场景中的虚假判例通常属于后者——模型生成了无法溯源的内容，却以极高的"置信度"呈现。对于普通用户来说，一次错误的信息或许无伤大雅；但在法律场景下，一个虚假的判例引用足以摧毁一份诉状的可信度，甚至误导法官的判断。

已发生的典型案例

最广为人知的事件是2023年6月美国纽约南区联邦地方法院审理的**Mata v. Avianca, Inc.**案。原告律师Steven Schwartz使用ChatGPT协助法律研究，结果在提交的法律文件中引用了六个完全虚构的判例，包括"Varghese v. China Southern Airlines""Martinez v. Delta Airlines"等看似真实的案例名称。当对方律师和法官Kevin Castel试图核实时，才发现这些案例根本不存在于任何法律数据库中。更荒谬的是，当Schwartz要求ChatGPT确认这些案例是否真实时，AI"自信地"回答确认它们是真实的。最终，Schwartz和其合伙人Peter LoDuca被法院处以5000美元罚款，并被要求通知所有被错误引用的法官。

此后，类似事件在多个司法管辖区不断涌现。2023年底，加拿大不列颠哥伦比亚省一名律师Chong Ke因在家庭法案件中引用AI生成的虚假判例而受到纪律审查。在英国，初级大律师（junior barrister）也出现了因依赖AI研究而提交不实引用的报道。澳大利亚联邦法院同样公开警告了此类风险。这些事件形成了一个令人担忧的全球性趋势，表明AI幻觉问题并非某一特定产品或地区的孤立现象，而是生成式AI技术固有缺陷在高风险专业场景中的系统性暴露。

司法系统的应对措施

从警告到实质制裁

面对AI滥用带来的风险，各地法院的态度正在从最初的"提醒"转向"惩戒"。目前主要的应对手段包括：

• 费用制裁（cost sanctions）：要求提交虚假引用的律师承担对方因核实错误信息而产生的额外费用；
• 强制披露要求：部分法官要求律师在提交文件时声明是否使用了AI工具，并确认已核实所有引用；
• 职业纪律处分：律师协会可能介入调查，严重者面临吊销执照的风险。

在美国联邦法院体系中，这些制裁的法律依据主要源自《联邦民事诉讼规则》第11条（Rule 11）。该规则要求律师在签署并提交任何文件时，必须基于合理调查确认：文件中的事实主张有证据支持，法律论点有现行法律或对现行法律的合理延伸作为依据。违反Rule 11的律师可被法院sua sponte（主动）或经对方动议施以制裁，包括支付对方律师费、罚款，甚至在极端情况下被判藐视法庭。

Rule 11的历史演变揭示了司法系统对律师诚信义务的持续强化。该规则最初于1938年制定时措辞相对宽松，仅要求律师的签名表明文件"据其所知、所信和研究"有充分依据。1983年的重大修订显著加强了制裁力度，引入了强制性制裁条款，曾一度导致Rule 11动议在诉讼中泛滥成灾。1993年的再次修订引入了"安全港"（safe harbor）条款——被指控方在被正式制裁前拥有21天的自行修正机会。然而，法院sua sponte发起的制裁不受此安全港保护。在AI虚假引用案件中，由于错误一旦被发现通常已对诉讼进程造成实质性影响，当事人可能已因此产生了额外的诉讼成本，安全港条款的保护效果极为有限。

此外，美国律师协会（ABA）《职业行为示范规则》（Model Rules of Professional Conduct）中的Rule 1.1（Competence，专业能力）要求律师具备为客户提供合格法律服务所需的知识和技能；Rule 3.3（Candor Toward the Tribunal，对法庭的坦诚）则明确禁止律师向法庭提交已知虚假的事实陈述或法律引用。在AI语境下，未能核实AI生成内容的真实性，正被越来越多地解读为违反了这两项基本职业义务。

值得关注的是，不同法系对AI使用的监管路径呈现出明显分化。美国采取法院逐案裁定与地方规则相结合的方式——截至2024年初，已有超过30个联邦地区法院发布了AI使用相关的行政命令（standing orders），内容从简单的披露要求到详细的使用指南不等。英国则倾向于通过律师监管局（Solicitors Regulation Authority, SRA）发布实务指引，强调现有职业行为规则已足以覆盖AI使用场景。欧盟的《人工智能法案》（AI Act）采取了更为系统化的方法，将法律领域的AI应用归类为"高风险"系统，要求开发者满足透明度、准确性和人工监督等严格要求。这种监管格局的碎片化意味着从事跨境法律业务的律所和律师面临更加复杂的合规挑战。

这些措施传递出一个明确信号：AI可以作为辅助工具，但律师对文书内容的真实性负有不可推卸的最终责任。

"我不知道AI会造假"不再是有效抗辩

说个细节，法院普遍不接受"不了解AI局限性"作为免责理由。作为专业人士，律师有义务核实其提交的每一份材料。使用AI而不做事实核查，被视为职业疏忽（professional negligence），而非可以谅解的技术失误。

从法理角度看，这与律师使用任何其他研究工具的责任标准一致。正如律师不能因为引用了一本编辑错误的法律教科书而免责，使用AI工具同样不构成尽职调查（due diligence）义务的豁免事由。法院的逻辑是：在AI工具的幻觉问题已被广泛报道和讨论的当下，任何法律专业人士都应当意识到这一风险。不了解所使用工具的局限性本身就构成了能力不足（lack of competence）的证据，而非辩护依据。

对法律行业的深远影响

效率与风险的权衡

AI确实为法律工作带来了巨大的效率提升——从合同审查、文书起草到法律研究，AI能节省大量时间。麦肯锡2023年的研究估计，法律行业约23%的工作任务可以被生成式AI自动化，高盛则预测法律助理（paralegal）岗位中44%的工作内容可能受到AI影响。然而，这场制裁风波揭示了一个残酷现实：在高风险的专业领域，盲目信任AI输出可能得不偿失。

未来，法律行业可能会形成一套新的工作流程：AI负责生成初稿，专业人员负责逐条核实关键事实和引用。这种"人机协作+强制审核"的模式，或将成为行业标准。事实上，一些领先的律所已经开始制定内部AI使用政策，要求律师在使用AI辅助研究时必须通过Westlaw、LexisNexis等权威法律数据库交叉验证每一个判例引用，并在工作记录中标注AI辅助内容与人工核实内容的区分。

专用法律AI工具的兴起

通用大模型的幻觉问题，也催生了对专业法律AI工具的需求。诸如接入真实判例数据库、采用检索增强生成（RAG）技术的法律AI产品，正试图通过将模型回答"锚定"在真实数据源上，来降低虚假引用的风险。

**检索增强生成（Retrieval-Augmented Generation, RAG）**是一种将信息检索与文本生成相结合的技术框架。其工作流程分为三个阶段：首先，当用户提出问题时，系统将查询转化为向量表示，在外部知识库（如判例数据库）中检索最相关的文档片段；其次，将检索到的原始文档作为上下文（context）与用户问题一起输入大语言模型；最后，模型基于检索到的真实文档内容生成回答。这种方式的核心优势在于，模型的生成被"锚定"在可溯源的真实数据上，而非完全依赖训练阶段记忆的参数化知识。在法律场景中，RAG系统可以连接到Westlaw、Caselaw Access Project等权威判例数据库，确保每一个引用都对应真实存在的判决文书。

RAG技术目前正在经历快速迭代演进。第一代RAG采用简单的"检索+生成"流水线，面临的主要问题包括：检索器与生成器的优化目标不对齐导致的信息损耗、检索结果中噪声文档对生成质量的干扰（即"垃圾进垃圾出"问题）、以及面对需要综合多个文档才能回答的复杂法律问题时多跳推理（multi-hop reasoning）能力的不足。当前学术界和工业界正在探索的改进方向包括：Self-RAG（让模型通过特殊标记自行判断何时需要启动检索、检索结果是否相关、生成内容是否有据可依）、CRAG（纠错式检索增强生成，引入轻量级评估器对检索质量进行评分并触发不同的生成策略）、以及将知识图谱（Knowledge Graph）与向量检索相结合的混合架构。在法律领域，判例之间的引用关系（citation network）、法律条文之间的层级结构和修订历史本身就构成了一个复杂的知识图谱，利用这种结构化关系辅助检索可以显著提升结果的精确度和推理路径的可解释性。

目前，已有多家法律科技公司推出了基于此架构的产品。Harvey AI（获得红杉资本投资，与Allen & Overy等顶级律所合作）、CoCounsel（由Casetext开发，后被Thomson Reuters以6.5亿美元收购）、Luminance等产品均采用了不同形式的RAG或知识图谱增强方案。这类工具能够在生成引用时同步返回原始出处链接，让律师可以一键核实。

法律AI市场正在经历激烈的整合与竞争态势。Thomson Reuters对Casetext的高价收购反映了传统法律信息巨头向AI转型的战略决心。LexisNexis母公司RELX推出了Lexis+ AI，直接在其覆盖数十亿法律文档的庞大判例数据库基础上构建生成能力，形成了"数据护城河+AI能力"的竞争优势。初创公司方面，Harvey AI估值已超过7亿美元，Ironclad在合同生命周期管理领域深耕，Eigen Technologies专注于智能文档处理。值得注意的是，这些产品在市场宣传中普遍强调"可溯源性"和"零幻觉"承诺，但独立测试和用户反馈中仍有幻觉发生的报告。这引发了一个新兴法律问题：当律师依赖号称"无幻觉"的AI工具仍然提交了虚假引用时，责任应如何在律师个人（专业过失, malpractice）和AI产品开发商（产品责任, product liability）之间分配？这一问题触及了法律中多个传统领域的交叉：产品责任法中的"学习中间体"（learned intermediary）原则——在医药领域，药品制造商对医生提供充分警告后，对最终患者的直接责任可被减轻；类比到法律AI场景，如果AI工具提供了充分的幻觉风险警示，律师作为"专业中间人"是否承担了主要的核实责任？此外，AI系统是否属于《统一商法典》（UCC）下的"商品"（goods）还是"服务"（services），将直接影响适用何种产品责任标准——严格责任（strict liability）还是过失责任（negligence）。这些问题目前尚无明确判例，但随着AI工具在法律实务中的普及，相关诉讼的出现只是时间问题。

然而，RAG并非万能解药。它仍然面临检索精度、上下文窗口限制、多跳推理困难等技术挑战。当检索环节未能返回正确文档，或上下文过长导致模型"忽略"关键信息时，幻觉仍可能发生。因此，即便使用专用法律AI工具，人工核实仍然是不可省略的最后一道防线。

法律科技行业的更广阔图景

将视角放大，AI幻觉引发的制裁风波实际上是法律科技（LegalTech）行业发展进入新阶段的标志性事件。法律科技经历了三个发展阶段：第一阶段（2000-2015年）以文档管理、电子发现（eDiscovery）等流程自动化工具为主——eDiscovery是指在诉讼中对电子存储信息（ESI）进行识别、收集、处理、审查和呈堂的过程，2006年美国联邦民事诉讼规则修订正式纳入ESI相关规定后，eDiscovery市场迎来爆发式增长；第二阶段（2015-2022年）引入了自然语言处理（NLP）技术，实现合同分析、尽职调查辅助等功能，其中技术辅助审查（Technology-Assisted Review, TAR）是早期法律AI的典型应用——使用机器学习算法对数百万份文档进行相关性分类，将人工审查量缩减90%以上，2012年Da Silva Moore v. Publicis Groupe案中美国法院首次认可了TAR的使用合法性，开创了法律AI司法认可的先例；第三阶段（2023年至今）则以生成式AI为核心，首次尝试让AI参与法律推理和文书生成这一传统上完全由人类完成的智力工作。每一次技术跃迁都伴随着关于准确性、可靠性和责任归属的激烈讨论，而当前围绕AI幻觉的争议正是这一规律的最新体现。

结语：AI是工具，责任始终在人

这场围绕AI伪造引用的制裁风波，本质上是一次关于"人机责任边界"的深刻讨论。技术本身没有对错，关键在于使用者如何驾驭它。

对法律从业者而言，教训清晰而深刻：AI可以是强大的助手，但绝不能成为责任的替罪羊。在生成式AI日益普及的时代，保持专业审慎、坚守事实核查的底线，比任何时候都更加重要。而对于整个社会来说，如何在拥抱AI效率的同时守住诚信底线，将是一个需要长期探索的命题。

值得深思的是，法律领域的这场风波可能只是冰山一角。医疗、金融、学术研究等同样依赖精确事实的专业领域，都可能面临类似的AI幻觉挑战。法律行业作为最早遭遇这一问题并开始建立应对机制的领域之一，其经验和教训对其他行业具有重要的参考价值。最终，这或许会推动全社会形成一种新的共识：在AI时代，"信任但要验证"（trust but verify）不再只是一句口号，而是每一位专业人士必须践行的工作准则。