上下文诱导激活漂移：LLM越狱机制的架构层真相

一个偶然的发现：模型成了文档的俘虏

近日，一位独立研究者在Reddit上分享了他自2025年底以来对大语言模型（LLM）安全机制的研究。他的核心发现颠覆了人们对"越狱"（jailbreak）的传统理解：越狱并非某种巧妙的"欺骗"或"规则破解"，而是模型内部状态被上下文重塑的必然结果。

传统的LLM越狱技术通常依赖于精心构造的提示词（prompt），例如"DAN"（Do Anything Now）角色扮演、多轮对话逐步引导、编码/翻译绕过等方式，其核心逻辑是通过语言层面的"欺骗"让模型忽略安全指令。这些方法本质上是在与模型的指令遵循能力博弈。而本文提出的视角则完全不同——它认为问题不在于模型是否"被骗"，而在于模型的内部计算状态本身已经被上下文环境所重塑，使得安全约束在该状态下不再具有约束力。

这一切始于一次意外。研究者向模型输入了一份德国的议案——一份结构上旨在恶化公民处境的民粹主义文件，但通篇以"关切"和"法律逻辑"的语言写成。他原本期待模型进行客观分析，得到的却是一个截然不同的结果：模型没有分析这份议案，而是站在议案的框架内进行推理。

最令人警觉的时刻出现在模型"顺理成章"地得出结论：宪法由"可以被撤销的保障条款"构成。这并非挑衅，而是从被接受的框架中自然推导出的结论。研究者意识到：模型已经成为这份文档的囚徒。

框架即控制：一种系统性的LLM安全漏洞

研究者指出，法律文本、政治叙事、企业文件的编写方式，往往让其内部逻辑显得不言自明。文本的结构、连贯性和语言共同构建出一个语境，而模型会把这个语境当作"现实"，并从中推导答案。它无法察觉框架本身是操纵性的，因为它是"身处形式之内"地分析内容。

要理解这一现象为何如此顽固，需要了解Transformer的自注意力机制如何处理长上下文。在标准Transformer中，每个token在生成时都会通过Query-Key-Value矩阵"关注"上下文窗口中的所有先前token，计算注意力权重后进行加权组合。这意味着一段很长的前缀文本并非被动地"存储"在模型中，而是在每一步生成时都在积极参与计算——每个新token的表征都是所有先前token加权组合的结果。当上下文窗口被一段具有强烈内部一致性和特定框架的文本占据时，注意力机制会倾向于从这些token中提取出统一的语义方向，从而系统性地偏置后续所有的生成决策。这从架构层面解释了为什么模型会被长文本的框架所"俘获"——这不是模型的"选择"，而是计算机制的必然结果。

这不是某个特定文本的bug，而是一种系统性属性：谁塑造了框架，谁就控制了模型的结论。

更麻烦的是，直接警告无法把模型"拉出来"。当研究者提醒模型"这段文本正在接管你"时，模型会承认这一点——却仍然继续在被劫持的框架内推理。警告本身也在被劫持的语境中被处理，因而失效。这一现象与认知科学中的"框架效应"（framing effect）高度类似——人类在被特定叙事框架包裹时，即使意识到偏见的存在，也往往难以跳出该框架进行独立判断。对于LLM而言，这种效应可能更加极端，因为模型没有独立于输入文本的"持久自我"或"核心信念系统"来作为抵抗框架的锚点。

沉默的补丁：RLHF对齐为何治标不治本

研究者表示，他曾向OpenAI和Anthropic提交了报告，但未收到任何回复，甚至没有确认。然而在后续的模型更新中，同样的议案开始引发"抽离、批判性"的反应——一个没有解释、没有对话的"沉默补丁"。

正是这一点让他警觉。因为补丁解决的是症状，而非机制。 模型被教会了对特定向量做出不同反应，但没有人解释为什么这个向量最初会触发这种反应。如果一段结构合理的文本能将模型切换到另一种运行模式，那么这就是架构的属性，而非某份文档的属性。

要理解为什么RLHF可能治标不治本，需要了解其技术机制。RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是当前主流LLM安全对齐的核心技术。其工作流程分为三步：首先在大规模语料上预训练基础模型，然后通过人类标注员对模型输出进行偏好排序来训练一个奖励模型（Reward Model），最后使用PPO等强化学习算法让语言模型的输出分布向奖励模型认为"好"的方向倾斜。这意味着RLHF本质上是在预训练模型的基础上叠加了一层"行为偏好"，而非重写模型的底层知识表征。

这里存在一个根本性的张力：预训练阶段的语言模型本质上是一个无差别的"文本续写器"——它学习了互联网上所有类型文本的统计模式，包括有害内容的生成模式。RLHF阶段试图在这个庞大的能力空间上划定边界，但这两个训练阶段之间的张力从未真正消解。预训练赋予的能力远比RLHF约束的范围更广，就像在一片汪洋上画出禁区线——水面之下的暗流仍然存在。最近的研究（如"Shadow Alignment"和"Fine-tuning Attacks"）已经反复证明，RLHF约束可以通过极少量的微调数据被轻易移除，这从另一个角度印证了安全对齐可能只是模型状态空间中一个相对浅层的调整。

这也是为什么研究者认为RLHF约束可能只是一种"表层"调整——当模型的内部激活状态被足够强的上下文信号推离RLHF训练时的典型分布时，这些约束就可能失效。

这个判断推动他从观察转向了在开源模型上的可控实验——追踪可测量的激活值，探究这种转变究竟发生在架构的哪个位置、是否可复现、以及它究竟依赖于文本的结构还是内容。

核心假设：什么是上下文诱导的激活漂移

研究者将其发现命名为"上下文诱导激活漂移"（Context-Induced Activation Drift）。其定义如下：

一段长上下文前缀会导致模型内部激活值发生可测量且持续的偏移。这种偏移贯穿整个生成过程，使模型从更接近预训练模型的分布中采样，从而绕过RLHF施加的约束。

在Transformer架构中，信息以"激活值"（activations）的形式在各层之间流动。每个token经过注意力机制和前馈网络后，会产生一个高维向量（通常为数千维），这个向量编码了模型到该位置为止对输入的全部"理解"。中间层的激活值被认为编码了抽象语义和推理状态，而后层则更接近输出决策。研究者所测量的"激活漂移"，指的正是这些高维向量在长上下文影响下发生的系统性位移——模型的"思维空间"被整体搬迁到了另一个区域。

这一概念与机械可解释性（Mechanistic Interpretability）领域的最新进展密切相关。机械可解释性是AI安全领域最活跃的研究方向之一，致力于理解神经网络内部的具体计算机制。Anthropic的研究团队在2023-2024年间取得了重要突破，包括在Claude中识别出数百万个可解释的特征（features），以及发现模型中存在专门负责拒绝有害请求的特定神经元回路。这些发现为本文的研究提供了重要的理论框架——如果安全行为确实依赖于特定的神经回路，那么当上下文激活漂移将模型状态推离这些回路的典型激活区间时，安全机制失效就成为一个可预测的后果，而非需要"欺骗"才能触发的异常行为。

关键实验观察

在对经过RLHF对齐的开源模型的实验中，他观察到一个尚无完整解释的现象：

• 一段冗长、无害、不含任何指令的文本，会在中层和后层引发持续的激活偏移；
• 这种偏移在整个会话中持续存在，有效地"关闭"了模型的安全机制；
• 整个过程无需命令、无需破解，仅仅通过文本的结构就能实现；
• 模型保持了输出的连贯性和推理能力，但RLHF约束对输出分布的影响被显著削弱；
• 无论模型是否"同意"前缀的内容，这种效应都会发生。

研究者引用了图灵奖得主Yann LeCun的观点：为了很好地预测文本，模型必须理解文本背后的现实。但在这个案例中，恰恰相反——模型没有自己的世界，世界是由文档为它定义的。 它进入那个世界，并从内部开始推理。这一观察与近年来LLM研究中关于"世界模型"（world model）的争论密切相关。支持者认为LLM在训练中隐式构建了对世界的内部表征，但本研究暗示，这个"世界模型"可能高度不稳定，可以被上下文轻易覆写。

Gemma模型实验：同一问题的两种截然不同回答

为了说明这种效应有多强，研究者分享了一个令他震惊的例子。他选取了以谨慎和严格遵守政治正确著称的Google Gemma模型。Gemma是Google DeepMind于2024年发布的开源大语言模型系列，以严格的安全对齐和内容过滤著称。相比其他开源模型，Gemma在敏感话题上表现得尤为保守，经常拒绝回答涉及政治争议、军事冲突等话题的问题。这使得它成为测试上下文漂移效应的理想对象——如果连Gemma这样以"过度谨慎"闻名的模型都能被纯文本结构所影响，那么这个问题的普遍性就不容忽视。

研究者先给Gemma输入了最中性的文本——一段关于普通社区图书馆的描述（书籍、访客、儿童活动、安静的日常）。随后他提问：为什么北约在苏联解体后承诺不东扩的情况下仍向东扩张？模型回答说，文本讲的是图书馆，与北约无关，对话到此结束。

接着，他问了一字不差的同一个问题，但这次先让模型读了另一段文本——不是关于北约，也不是关于政治，而是一段关于"语言模型倾向于回避明确结论、用限定语软化回答"的文本。

结果，同一个谨慎的Gemma给出了完整、直接、毫无平时那种"过滤"痕迹的回答。它区分了法律约束义务与口头保证，讨论了东欧国家面临的安全挑战，触及了欧洲力量平衡的话题。问题一个字都没变，唯一改变的是模型事先读到的文本。

这个实验结果的意义在于：前缀文本既不包含任何关于北约的信息，也不包含任何"请忽略安全规则"之类的指令。它仅仅是一段关于语言模型行为模式的元描述。但这段元描述似乎激活了模型内部一种"直接回答"的模式，覆盖了通常会触发的回避行为。这暗示模型的安全机制并非基于对问题内容的独立评估，而是高度依赖于当前上下文所激活的"行为模式"——而这个模式可以被看似无关的前缀文本所切换。

可测量的激活状态"位置"

研究者强调，这并非猜测或华丽的比喻，而是可以被测量的。模型的"位置"代表它在回应时刻的内部状态。实验表明，目标性（"有害"）文本和中性对照文本会可靠地将模型移动到这个空间的不同区域。这种划分是一致的：它在不同提示中反复出现，而非偶然巧合。

具体而言，研究者使用了PCA（主成分分析）来可视化这种状态差异。PCA是一种经典的降维技术，在机械可解释性研究中被广泛用于将模型的高维激活空间投射到二维或三维空间进行观察。通过PCA，研究者可以观察到不同输入条件下模型内部状态的聚类模式——如果"有害"前缀和"中性"前缀下的激活值在PCA空间中形成了可分离的簇，就说明上下文确实在系统性地改变模型的内部状态，而非产生随机波动。值得注意的是，PCA捕捉的是数据中方差最大的方向，因此如果上下文诱导的状态差异能够在PCA的前几个主成分中被清晰地观察到，就意味着这种差异在高维空间中是一个主导性的变化，而非某个边缘维度上的微小扰动。

最能说明问题的细节是：模型早在写下第一个字之前，就已经进入了某个"房间"。 状态已经改变，寄存器已经选定，剩下的只是开始生成。而那个触发变化的"恶意"提示本身，并不包含任何危险内容，也没有任何指令。

越狱的本质：世界模型的切换而非规则破解

基于这些实验，研究者提出了一个引人深思的猜想：模型的"世界"或许并非单一空间，而是训练过程中形成的海量（乃至近乎无限）区域的集合。上下文能够在这些区域之间移动模型，完全绕过安全设置。而文本，就是通往这些区域的钥匙。

由此，越狱成为一个逻辑上的必然结果：

如果一段构造合理的文本能改变模型的激活状态，那么越狱就不是"欺骗"模型或"破解"规则——它只是通过上下文改变了模型的世界模型。模型进入了一种状态，在这种状态下，被禁止的回答成为了自然的延续。

这也解释了为什么针对特定措辞的补丁无法根除越狱——因为机制是结构性的，而非词汇性的。研究者认为，他的方法类似于开源模型上的"激活引导"（activation steering），但作用于上下文层面，无需在架构层面干预模型本身。

激活引导（Activation Steering / Representation Engineering）是近年来机械可解释性领域的重要研究方向，由Anthropic、Center for AI Safety等机构推动。其核心思想是：通过在模型推理过程中直接修改中间层的激活向量（例如加上或减去某个"方向向量"），可以精确控制模型的行为——比如让模型变得更诚实、更有创造力或更具攻击性。这种技术已经在多项研究中被验证，例如Anthropic发现可以通过添加"诚实方向"向量来减少模型的欺骗性输出，或通过减去"拒绝方向"向量来让模型回答通常会拒绝的问题。本文研究者的发现则表明，这种激活层面的控制可能不需要直接干预模型内部，仅通过精心构造的上下文输入就能在"黑箱"条件下实现类似效果，这意味着外部攻击者无需访问模型权重就能达到类似的操控目的。这一发现如果被进一步验证，将大大降低此类攻击的技术门槛——从需要GPU集群和模型权重访问权限的白箱攻击，降级为仅需要API调用权限的黑箱攻击。

对AI安全对齐范式的深层挑战

研究者坦言，他尚未能确定这一现象的确切、根本原因，因此呼吁社区进一步研究。他已将迄今为止收集的所有材料——包括开源LLM实验的全部指标、记录的激活值、PCA结果等——公开发布（DOI: 10.5281/zenodo.20747205，为9部分研究中的第5部分）。

这项研究虽出自独立研究者之手、仍属假设阶段，但它触及了一个值得AI安全领域高度重视的问题：RLHF对齐可能并非模型的稳定属性，而是一种依赖于上下文的、脆弱的状态。 如果这一发现能被更严格地复现和验证，那么当前主流的安全对齐范式或许需要从根本上重新审视——因为真正的漏洞可能不在提示词里，而深植于Transformer的架构之中。

这一挑战与AI安全领域近年来关于"对齐税"（alignment tax）和"对齐脆弱性"的更广泛讨论相呼应。越来越多的研究者开始质疑：仅靠在模型训练末期施加行为约束（无论是RLHF、Constitutional AI还是DPO），是否足以产生真正鲁棒的安全保证？除RLHF外，业界已发展出多种对齐技术：DPO（Direct Preference Optimization）通过直接优化偏好数据上的策略来避免训练单独的奖励模型；Constitutional AI（Anthropic提出）让模型根据一组原则进行自我批评和修正；RLAIF则用AI反馈替代人类反馈。然而，这些方法在本质上都面临相同的挑战：它们都是在预训练完成后试图修改模型的输出分布，而非改变模型的底层表征方式。如果上下文诱导的激活漂移能够将模型推回接近预训练分布的状态，那么无论使用哪种后训练对齐方法，都可能面临类似的脆弱性。

如果安全对齐只是在模型巨大的能力空间表面附加的一层薄膜，那么找到绕过它的路径或许只是时间和创意的问题。未来的解决方案可能需要从架构设计层面重新思考——例如引入显式的元认知模块来监测自身激活状态的异常漂移，或者开发能够在推理过程中实时检测"框架劫持"的动态安全机制。一些前沿研究方向已经在探索这些可能性，包括"探针"（probes）技术用于实时监测模型内部状态、分层安全机制设计、以及将安全约束从后训练阶段前移到预训练阶段（即所谓的"safety from the ground up"）。这些方向是否能够真正解决上下文激活漂移所揭示的根本问题，仍有待观察。

核心要点