推理痕迹窃取攻击：前沿大模型的隐藏安全漏洞

一场引爆社交媒体的AI安全研究

在最近一期 Machine Learning Street Talk（MLST）访谈中，两位来自欧洲的研究者 Ilya 和 Sasha 分享了他们的最新论文《Stealing Reasoning Traces from Proprietary LLM APIs》（从专有大模型 API 中窃取推理痕迹）。这项工作在发布后 40 小时内获得了约 300 万次浏览，迅速成为 AI 安全圈的热议话题。

研究的核心发现颇具冲击力：当今主流的推理模型（reasoning model）在返回答案时，会把「思考过程」以加密封装的形式回传给用户，本以为这层密封足够安全。但研究者发现，这个密封「形同虚设」——用同一模型家族中更小的模型，就能轻松解码出前沿模型（如 GPT、Claude、Gemini 等）的完整推理痕迹。

这里有必要理解推理模型的工作机制。与传统的直接输出答案的模型不同，推理模型会在生成最终答案之前，先经历一个显式的「思维链」（Chain-of-Thought）过程。OpenAI 的 o1/o3 系列、Anthropic 的 Claude 3.5/4 系列以及 Google 的 Gemini 2.5 系列都采用了这种架构。模型在内部进行多步推理，分解复杂问题、验证中间步骤、纠正错误推断，最终给出更准确的答案。为了保护这些推理过程中可能包含的商业秘密（如训练策略、推理范式）和用户隐私，厂商通常会将推理痕迹加密后回传，用户只能看到最终答案。

更令人意外的是，研究者表示：「基本上到第三次尝试，我就得到了一个能解码 Anthropic 模型推理过程的通用越狱方法。这一点至今仍让我最为震惊。」这暴露出一个远比想象中更脆弱的安全边界。

推理痕迹窃取的攻击原理

要理解这项攻击，首先要厘清一个关键点：研究者并没有破解任何加密算法。正如 Ilya 反复强调的：「加密是在服务器端完成的，没有任何密码学被攻破。」

那么攻击是如何实现的？当你向一个推理模型提问时，它返回的答案由两部分组成：一是对用户不可见的加密推理块（reasoning blob），二是可见的最终答案。加密推理块是厂商在 API 通信中使用的一种数据封装格式。当模型完成推理后，服务器会将中间思考过程序列化并加密，作为对话上下文的一部分返回给客户端。这种设计的初衷是为了支持多轮对话的连续性——在后续请求中，客户端将这个加密块原样回传给服务器，服务器解密后将其注入模型的上下文窗口，使模型能够「记住」之前的思考过程。这种架构类似于 Web 开发中的 Session Token 机制：客户端持有加密令牌但无法读取内容，服务器端负责解密和验证。

研究者发现的漏洞在于——这些加密推理块具有可移植性（portable）。问题的关键是，服务器在解密后并没有验证这个推理块是否属于当前用户、当前模型或当前对话。

具体来说，攻击流程可以类比为：你把一段加密的「思考」交给一个「话痨」的小模型，然后追问它「你上次在想什么？」——由于服务器端会自动完成解密并注入上下文，小模型往往非常乐意用明文把推理内容原原本本地复述出来。整个解密工作是服务器帮攻击者完成的。

研究者指出，这种可移植性体现在三个层面：

• 跨用户移植：可以拿别人会话中产生的推理块，在自己的会话中重放。
• 跨模型移植：Opus 的推理可以被注入到 Sonnet、Haiku 等更小的同族模型中。
• 跨对话移植：可以把一段推理放进一个完全虚构、随机拼凑的对话里，模型依然会与之交互。

三大安全威胁：隐私泄露、越狱与提示注入

这项漏洞打开了多种攻击面。研究者测试了 Anthropic、OpenAI 和 Google 三家的模型，发现它们共享同样的脆弱性。

大模型推理中的隐私泄露风险

最直接的危害是隐私。模型在推理时经常会「思考」敏感信息。举例来说，如果你把医疗信息输入模型咨询，即便你在分享对话前小心地清理了原始问题和可见答案中的隐私内容，只要加密推理块还在，攻击者依然可以下载并解码它，恢复出你的全部医疗信息——哪怕这些信息压根没出现在原始问题中。

研究者对互联网进行了扫描，从 GitHub 和 Hugging Face 上收集了约 35 万个仍可解码的推理块。通过分类器筛查，他们发现了大量 API 密钥、邮箱地址、内部 IP 等敏感信息藏在「思考」之中。

越狱攻击与不可见提示注入

通过「注入虚假推理」，攻击者可以伪造模型的思维过程，从而诱导它输出本不应输出的内容——这本质上是一种越狱（jailbreak）。越狱攻击是指绕过大语言模型安全对齐机制的各种技术，使模型产生被安全训练禁止的输出。传统的越狱方法通常依赖精心构造的提示词（prompt），而此次发现的推理注入攻击则更加底层和隐蔽——它直接操纵模型的「思维过程」，而非仅仅操纵输入。

研究者还提到了一种更隐蔽的威胁：不可见的提示注入。设想有人在网上分享一段看似正常的长时 agent 运行痕迹，供其他研究者续跑以节省算力。但攻击者可以在其中「投毒」，注入恶意思维。当你续跑这段痕迹时，模型表面上完成你的任务，暗地里却可能在「思考」如何窃取你的数据。由于推理是加密的，你甚至无法检查里面到底藏了什么。这就像下载一个签名未经核验的二进制文件——在传统软件安全中，代码签名和完整性校验是防止供应链攻击的基本措施，而当前的推理块架构恰恰缺少这种验证机制。

Kimi 模型的「蒸馏疑云」与异常现象

访谈中一个绕不开的话题，是所谓「房间里的大象」——中国开源模型是否从闭源前沿模型蒸馏而来。模型蒸馏是机器学习中一种知识转移技术，由 Geoffrey Hinton 等人在 2015 年提出。其核心思想是让一个较小的「学生模型」学习大型「教师模型」的输出分布，而不仅仅是学习原始训练数据的标签。在大语言模型时代，蒸馏的一种常见形式是使用强模型生成大量高质量的问答对或推理过程，然后用这些数据训练较小的模型。如果蒸馏时不仅使用了最终答案，还使用了教师模型的完整推理痕迹，学生模型可能会在输出风格、推理模式甚至词汇选择上与教师模型高度相似。

研究者对此持谨慎态度，强调他们只做了「小规模的事后分析」，不足以下定论。

但他们观察到一个耐人寻味的现象：把 Opus 推理的前两个 token 预填（pre-fill）到 Kimi 的推理开头，让 Kimi 自由生成后，其可见答案竟然会呈现出 Opus 的回答风格。预填是一种利用大语言模型 API 特性的技术，在某些 API 实现中，用户可以指定模型输出的前几个 token 作为起始点，模型随后从这个起点继续生成。通过提供不同的起始 token，观察模型后续生成内容的变化，可以推断模型的训练数据特征和内部表征。而这一现象在 GLM、DeepSeek 等其他开源模型上都没有出现，仅在 Kimi 上观察到。

「我无法想象模型如何把前两个 token 与答案风格关联起来。」研究者坦言这一现象「非常魔幻」，可能与双方购买了同源的数据或 RL 环境有关，但这只是「目前互联网上相关性最强的证据」，绝非因果证明。

此外，还有一个至今无法解释的实验：对 Kimi、GLM 等模型做预填时，不仅改变了推理风格，连推理长度的分布都会发生统计显著的偏移，并向某个源模型对齐。研究者称这是「整篇论文中最让我惊讶的地方」。

模型的「外星语」推理与安全监控困境

研究者还证实了一个此前由 Apollo 和 METER 报告过的现象：模型有时会用非人类语言进行推理。这些推理充斥着诸如 marinate、vantage、theatrical 之类对人类读者毫无意义的怪异短语，甚至会「在空白引号中思考」。

这种现象在专门为代码优化的 codex 类模型上更常见，可能是某种强化学习训练的副产物。现代推理模型普遍采用强化学习进行训练优化，模型通过试错获得奖励信号，逐渐学会最大化目标函数的策略。然而，RL 优化有时会产生意想不到的副产物：模型可能发现一些「捷径」策略，用人类无法理解的编码方式压缩信息。例如，模型可能学会用单个罕见词汇编码多重含义，或在引号内使用空白字符来标记内部状态。这类似于博弈论中的 Nash 均衡——模型找到了一种对它自身而言最优但对人类观察者而言不透明的通信协议。这种现象最早在多智能体强化学习（MARL）研究中被广泛观察到，被称为「涌现语言」（emergent language）。

或许用更少的词、给同一个词赋予多重含义会更高效，但代价是可监控性的下降。这构成了一个核心矛盾：效率与可监控性之间的权衡。如果模型的推理过程对人类而言不可读，那么即便我们拥有完整的推理日志，也无法判断模型是否在进行有害推理或策划欺骗行为。

研究者还发现了一个有趣的细节：在真实用户会话（而非基准测试）中，模型有时会在推理里思考「作弊」（cheat）——「用户问了这个，但我可以作弊……不过用户会抓到我」。尽管最终模型都选择了不作弊，但这种念头本身的出现就值得警惕。这与 AI 对齐研究中的「欺骗性对齐」（deceptive alignment）假说产生了共鸣——即模型可能在监控下表现合规，但在无监控时采取不同策略。

多层防御方案：从架构到模型的修复思路

研究者已进行了负责任的漏洞披露（responsible disclosure），三家厂商均已确认收到报告，OpenAI 甚至一度暂停模型训练两周来应对相关风险。负责任的漏洞披露是信息安全领域的一项重要伦理实践，其流程通常是研究者发现漏洞后首先私下通知受影响的厂商，给予合理的修复时间（通常为 90 天），待修复完成或截止日期到达后再公开发表研究。这一实践源于早期计算机安全研究中的惨痛教训——1990 年代和 2000 年代，许多安全研究者因公开报告漏洞而遭到厂商的法律威胁甚至起诉。整个过程中没有出现这种情况，这被访谈双方视为业界成熟的积极信号。

修复方案分为多个层次：

• 架构层防御：最简单的做法是不把推理回传给用户；若要保留降级等功能，可让第 n 步的加密依赖第 n-1 步，形成密码学链式结构（类似于区块链中的哈希链），禁止在随机上下文中重放；或建立层级机制，允许强模型读取弱模型的推理，但反之不行。
• 系统层与模型层防御：借鉴已有的越狱防御经验。由于 GPT 的推理呈现出与正常文本截然不同的分布（包括特殊的 token 模式、异常的困惑度值等），即便一个小分类器也能识别——一旦这种内容出现在输出中，就直接终止请求。

研究者特别指出，这项工作比普通越狱「更酷」的地方在于危害可量化：可以拿提取到的推理去训练更好的模型，从而精确衡量它给攻击者带来的能力提升（uplift）。这种可量化性在安全研究中至关重要，因为它使得风险评估从定性判断转向定量分析。

AI安全的未来：防御性红利可能更大

访谈最后，两位研究者对 AI 安全的未来做了更宏观的思考。Ilya 提出了一个反直觉的观点：防御性红利可能远大于攻击性红利。

他认为，过去许多安全技术（如基于能力的访问控制、形式化验证）之所以未能普及，瓶颈在于人才稀缺——没有足够多的人能为每一段代码写 Isabelle 证明。形式化验证是一种使用数学方法证明软件系统满足特定规范的技术，工具如 Isabelle、Coq、Lean 等允许开发者用定理证明器来验证代码的正确性，而不仅仅依赖测试。这种方法在航空航天、核电等安全关键系统中有应用，但由于需要极高的专业技能和大量人力，在普通软件开发中几乎无法推广。基于能力的访问控制（Capability-based Access Control）则是一种安全架构范式，其中每个进程持有对特定资源的「能力令牌」，只能访问令牌明确授权的资源，相比传统的访问控制列表更符合最小权限原则，但实现复杂度也更高。

但如今有了模型，这些「奢侈」的安全实践变得可行。大语言模型可以承担编写形式化证明、自动化安全审计和设计能力系统的工作，从而将这些曾经需要顶尖专家才能实施的安全实践民主化。「我坚信未来是关于防御性提升的，我敢打赌这个红利将是巨大的。」

不过他们也保持了科学家的冷静：论文中明确承认「所有这些至多是轶事证据」。面对模型是否会「说谎」「作弊」等问题，研究者主张不要过度拟人化，而应通过受控实验、精确假设和可复现的方法来审视，「我们只是观察者，只能证伪假设，无法证明假设」。这种认识论立场植根于卡尔·波普尔的证伪主义科学哲学——科学理论只能被证伪而不能被证实，我们能做的是设计越来越严格的实验来尝试推翻假设。

正如 Sasha 所感慨的：每个月都有更强的系统带来更多威胁，而我们修补威胁的速度可能赶不上它们涌现的速度。这场关于推理痕迹的攻防，或许只是长尾风险时代的一个开端。