目标泄露：KV缓存如何让LLM代理混淆多客户决策

当LLM代理同时服务多个客户时，它是否会"记住"上一个客户的目标，从而影响为下一个客户做出的决策？一项最新研究给出了肯定的答案，并首次从机制层面揭示了这一现象背后的KV缓存表征。

多客户场景下的目标污染

随着LLM代理承担越来越自主的角色，它们不可避免地需要同时与多个客户和对手方交互，而这些实体的目标和激励往往相互冲突。问题在于：如果代理在这些交互之间共享推理状态，属于一段关系的信息就可能影响为另一段关系做出的决策。

研究团队设计了一个受控的双客户实验环境，包含20个市场场景，每个客户被分配了相反的目标。在共享对话记忆的条件下，模型在22%的合格决策中偏离了当前客户的目标。这意味着，代理并非简单地"切换"到当前客户的立场，而是被之前交互中残留的目标表征持续干扰。

这一发现对多租户LLM代理系统的设计具有直接意义：共享记忆虽然提升了上下文连贯性，却可能以牺牲决策忠实度为代价。

KV缓存中的目标归属信号

研究进一步深入模型内部，检查这些目标在KV缓存中是如何被表征的。通过线性探针（linear probes），团队发现客户-目标归属信息在中间层变得高度可恢复，并且集中在特定的注意力头上。

换言之，模型并非以分布式、难以定位的方式存储"这个目标属于谁"的信息，而是存在可识别的"热点"。这为干预提供了精确的切入点——如果知道目标表征存储在哪里，就有可能选择性地抑制或移除它。

这一结果也暗示了当前Transformer架构的一个结构性特征：KV缓存作为推理状态的载体，天然地混合了不同来源的信息，缺乏按关系隔离的机制。

**KV缓存（Key-Value Cache）**是Transformer类模型在自回归生成时用于加速推理的机制：每生成一个新token，模型只需计算当前token的Query，而将之前所有token的Key和Value缓存复用，避免重复计算。它本质上是模型对当前上下文的"工作记忆"，包含了所有已处理token的键值表征。在多轮对话或代理持续运行场景中，KV缓存会随着交互不断累积，来自不同客户、不同任务的信息被无差别地堆叠在同一缓存空间中，除非显式清空。这正是研究中"目标泄露"的结构性根源——缓存本身不区分信息来源，因而属于上一段关系的目标表征会以键值向量的形式残留，并在后续注意力计算中被再次读取，持续干扰当前决策。

**线性探针（Linear Probe）**是一种可解释性分析技术：在模型某一层的激活（或KV缓存表征）上训练一个简单的线性分类器，用其分类准确率来度量该层是否线性地编码了某种属性（如"该目标属于哪个客户"）。若线性探针能高准确率地恢复归属信息，说明该属性在表征空间中是可线性分离的，即模型以相对显式、集中的方式存储了它，而非弥散在大量维度中。线性探针的优势在于简单、可复现，且高可恢复性本身即表明信息具有"可读性"，从而为后续的因果干预（如定向消融）提供了明确的坐标。

消融实验：因果性验证

识别出目标表征的位置后，研究团队在缓存中进行干预，测试这些表征是否真正影响模型决策。他们选择性地消融竞争对手的缓存目标表征，结果显示模型明显向当前客户偏移。

关键的是，这种效应具有选择性：在探针识别出的注意力头上进行消融，效果大于随机选择的头；消融目标token的效果也大于消融同一客户匹配的非目标token。这说明目标表征不仅与决策相关，而且具有因果关系——移除它确实改变了模型的行为方向。

**消融（Ablation）**在机制可解释性研究中指主动移除或屏蔽模型中特定的激活、注意力头或缓存条目，观察行为变化，从而判断该组件是否对目标行为具有因果关系。与仅靠相关性观察不同，消融通过"破坏—观察"建立因果链。本研究中，团队消融竞争对手的目标表征后模型明显向当前客户偏移，且消融探针识别出的注意力头效果更强、消融目标token效果大于非目标token，这三点共同构成因果证据：被移除的内容确为存储该目标信息的载体，而非无关噪声。消融也因此成为验证可解释性发现、并为工程干预提供依据的标准手段。

对持久化LLM代理的启示

这些发现指向一个核心问题：持久化LLM代理缺乏关系特定的状态隔离。当代理在多个客户之间维持连续对话时，KV缓存中的目标表征会跨越关系边界"泄露"，并在后续决策中产生可测量的影响。

从工程角度看，可能的解决方向包括：为每个客户关系维护独立的缓存分区、在切换客户时主动清理或屏蔽无关的目标表征、或设计能够动态标记目标归属的注意力机制。该研究提供的探针定位方法，为后一种方案提供了可操作的技术路径。

从更宏观的视角看，这项工作提醒我们：LLM代理的"记忆"并非中性的信息存储，而是带有关系烙印的决策构件。在设计多客户代理系统时，状态隔离不应被视为可选的优化项，而是确保行为忠实度的基础要求。