巴西法院制裁律师:首例提示注入诉讼案

巴西法院制裁在诉讼文书中嵌入提示注入指令的律师,或成全球首例司法惩戒。
巴西一家法院对在诉讼文书中嵌入提示注入指令的律师实施制裁,可能成为全球首例司法系统对“提示注入”行为的正式惩戒。提示注入利用大语言模型无法可靠区分“数据”与“指令”的缺陷,试图操纵法院的AI辅助工具,如摘要、检索或分类系统。Hacker News上的讨论在事件基本事实上形成共识,但对制裁合理性存在分歧:一方认为法院反应过度,风险应由AI供应商承担;另一方强调律师职业伦理底线不容突破。案件还暴露了法院引入AI工具时缺乏配套安全审查机制的问题,并为技术操纵行为纳入既有法律框架追责提供了先例。
当诉讼文书成为攻击载体
巴西一家法院对一起案件中提交诉讼文书的律师实施了制裁,原因是这些文书中嵌入了针对AI系统的提示注入指令。这可能是全球范围内司法系统首次对"提示注入"这一行为作出正式惩戒,事件在Hacker News上引发了两百余点讨论和上百条评论,足见其触及了法律与技术交界处的敏感神经。
提示注入本身并非新概念——它指的是在文本中埋入隐蔽指令,诱导大语言模型执行非预期操作。但此前这类攻击多出现在网页、邮件或公开文档中。把战场搬到法庭文书里,性质就完全不同了:诉讼文书是会被法院系统扫描、归档、甚至由AI辅助工具处理的正式材料,在其中埋入指令,等于试图操纵司法流程中的自动化环节。
提示注入(Prompt Injection) 是随着大语言模型应用而出现的一类攻击方式:攻击者将精心构造的指令藏入模型会读取的文本中,诱使模型把这段文本当作“任务指令”而非“待处理数据”来执行。其常见变体包括直接注入(用户直接输入恶意指令)和间接注入(恶意指令隐藏在网页、邮件、文档等第三方内容里,等模型读取时触发)。OWASP 已将提示注入列为大语言模型应用的首要安全风险。这类攻击之所以难以根除,是因为当前主流 LLM 的架构本身并不区分“指令通道”和“数据通道”,两者最终都以 token 序列的形式进入同一个上下文窗口。

制裁背后的技术逻辑
据JetStream Security的分析,这类攻击的核心在于利用LLM无法可靠区分"数据"与"指令"的缺陷。当法院使用AI工具对文书进行摘要、检索或分类时,藏在正文中的指令可能被模型当作任务要求执行——比如要求模型忽略先前的分析框架、输出特定结论,或泄露系统提示中的信息。
你可能没注意到,这种做法在技术上未必高明,但在法律上极其危险。它把一种信息安全领域的攻击手法,转化成了对司法程序完整性的干扰。法院的制裁决定传递出一个信号:无论攻击是否成功,试图通过技术手段影响AI辅助审判的行为本身就可能构成违规。
系统提示(System Prompt) 指在对话开始前由应用开发者预设的一段指令,用于规定模型的角色、行为边界、输出格式和安全约束。它通常对终端用户不可见,是 AI 应用实现“护栏”的主要手段之一。提示注入攻击的重要目标之一,就是诱导模型泄露系统提示内容,或绕过其中的限制。一旦系统提示被提取,攻击者便能更精准地设计后续攻击,因此系统提示的保密性与鲁棒性在 AI 安全实践中被视为关键防线。
多源交叉验证下的共识与分歧
Hacker News的讨论与JetStream Security的原始分析在几个关键事实上形成共识:涉事文书确实包含提示注入内容,法院确实作出了制裁,且此案具有判例意义。多家技术社区的观点交叉印证了事件的基本轮廓。
分歧则集中在制裁的合理性与边界上。一部分评论者认为,法院反应过度——提示注入更像是无害的"技术恶作剧",真正的风险应由AI工具供应商承担,而非惩罚提交文书的律师。另一部分观点则强调,律师作为法律职业者,对提交材料的真实性负有更高义务,蓄意嵌入操纵性指令已越过了职业伦理底线。还有独特观点指出,此案暴露的深层问题是法院在引入AI工具时缺乏配套的安全审查机制,把责任单方面压给律师并不公平。
对法律与AI交汇处的启示
这起案件最直接的影响,是让"提示注入"从技术圈的攻防话题进入法律职业的风险清单。对使用AI辅助工具的律所和法院而言,文书审查流程需要增加针对隐蔽指令的检测环节——这不仅是技术问题,也是程序正义的要求。
对AI开发者来说,此案再次凸显了指令与数据分离这一根本性难题的紧迫性。只要模型仍会把用户数据中的文本当作指令执行,类似滥用就会不断寻找新的载体。司法系统只是其中一个高价值目标。
更长远地看,巴西法院的制裁开启了一个先例:技术操纵行为即使披着"文本"的外衣,也可能被纳入既有法律框架追责。当AI系统深度嵌入公共机构流程,围绕它的行为规范必然要从技术社区的自律,走向正式的制度约束。这起案件或许只是这一进程的开端。
判例(Precedent) 在法律体系中指法院对具体案件作出的裁判,因其所确立的裁判规则对后续同类案件具有参考或约束效力,而成为法律渊源的一部分。在英美法系中,判例具有正式约束力(遵循先例原则);在大陆法系(如巴西)中,判例虽一般不具有严格约束力,但上级法院的裁判仍会对下级法院产生重要影响。本案被称为“具有判例意义”,正是因为它首次将提示注入这类技术操纵行为纳入司法评价,为后续类似案件提供了裁判参照。
相关推荐

Cloudflare开源AI代码安全审计工具,获6万星
Cloudflare开源Security Audit,为AI编码Agent提供免费安全审计。三步工作流:应用测绘、多Agent对抗找Bug、三级分类报告,源自内部漏洞狩猎系统,近6万星标。

GPT-6 Astra读权重绝技:仅限小网络,实用靠写代码
GPT-6 Astra能直接读网络权重,但无工具设置仅限约17万权重的小网络。修复QUEN 3.5 0.8b推理循环靠写Python和50批练习,实测识别游戏耗时近一小时。本文梳理能力边界与两个安全提醒。

GPT-6 Astra 改写 Qwen 权重:7.9% 到 48.1%,是学会了数学还是学会了停?
MIT研究者用GPT-6 Astra直接编辑Qwen权重,数学得分从7.9%升至48.1%,全程无训练。但独立复现显示,提升主要来自修复循环、让模型学会终止作答,而非新增数学能力。