SwaT：跨模型家族的无预填充KV缓存传递

多智能体系统一直是LLM应用的热门方向，但智能体之间的通信长期依赖文本。一个智能体把发现总结成文字，另一个智能体再读入这段文字——这个过程不仅受限于离散token的带宽，还带来大量冗余计算。最近一项名为SwaT（Swarm Telepathy）的研究提出了一个有意思的解法：让智能体之间直接传递KV缓存，而且是跨模型家族的。

文本通信的两个隐性成本

当前主流的多智能体框架，无论角色如何划分，智能体之间的信息流转几乎都走"生成文本→接收方重新prefill"这条路径。这带来两个问题。

一是带宽瓶颈。一个智能体内部可能已经形成了丰富的中间表示，但输出时被压缩成有限的token序列，接收方再从这个序列重新构建理解。信息在编码解码中损耗，能力上限被人为压低。

二是算力浪费。接收方必须对收到的文本做完整的prefill，才能继续推理。同一份信息被计算了两次，而其中大量中间状态本可以直接复用。

已有研究尝试过KV缓存传递来绕开这个问题，但要么要求收发双方属于同一模型家族，要么无法真正实现跨上下文工作，接收方仍然需要prefill。SwaT的切入点正在这里。

KV缓存（Key-Value Cache）是Transformer类模型在自回归生成过程中的核心中间状态。当模型逐token生成输出时，每一层的自注意力机制都会为已生成的每个token计算一组Key和Value向量，并缓存下来，以便后续token生成时直接复用，避免对历史token的重复计算。这些缓存的维度通常是 [层数, 注意力头数, 序列长度, 头维度]，是模型对上下文的一种"内部表示快照"。在标准推理流程中，prefill（预填充）阶段负责处理输入prompt，一次性完成所有输入token的KV缓存计算，随后的decode阶段才逐个生成新token。多智能体场景里，接收方拿到文本后必须重新走一遍prefill，本质上是把发送方已有的KV缓存丢弃，从零重建内部状态，这正是算力浪费的根源。

SwaT做了什么

SwaT的全称是Swarm Telepathy，按论文描述，它是首个支持跨家族KV缓存传递的方法，让多家族多智能体系统实现无prefill通信。

关键约束在于：发送方和接收方模型都保持冻结，不做微调。训练SwaT本身只需不到5000万token和不到1个GPU-day。这意味着它更像一个轻量的适配层，而不是需要重训的大工程。

实际效果上，论文给出的数据是：在智能体到智能体的通信场景中，SwaT结合近期KV缓存压缩技术，在准确率上平均比文本到文本通信高出40%，墙钟时间平均快4倍。实验覆盖12个LLM、6个模型家族、17个基准测试。

跨家族难点在哪

不同模型家族的KV缓存空间并不对齐。隐藏维度、层数、注意力头配置、位置编码方式都可能不同，缓存的语义结构也不一致。把一个家族的KV直接塞给另一个家族，接收方无法直接使用。

SwaT需要解决的正是这种异构映射问题。论文没有在摘要中展开具体机制，但从"无需微调收发模型"和"少量训练数据"这两个条件推断，它应该是在缓存层面做某种投影或对齐，而不是改动模型本身。

不同模型家族之间，KV缓存不可直接通用的原因在于架构超参的差异。首先是隐藏维度（hidden dimension），即每个token的向量宽度，不同模型可能从768到8192不等；其次是层数（层深），决定了缓存的纵深结构；注意力头配置（头数与每头维度）影响Key/Value张量的形状；位置编码方式（如绝对位置编码、RoPE、ALiBi等）则决定了缓存中位置信息的组织逻辑。即便两个模型维度恰好相同，语义空间也未必对齐——同一维度上的数值在不同模型中学到的特征含义可能完全不同。因此，跨家族传递需要解决的是形状适配与语义对齐的双重问题，这也是SwaT核心机制需要突破的技术瓶颈。

一个值得注意的附带能力

论文还提到一个超出预期的结果：如果发送方是视觉语言模型（VLM），SwaT能把视觉能力传递给纯文本的接收方LLM，效果超过文本到文本通信——尽管SwaT本身只在纯文本数据上训练过。

这个结果暗示KV缓存中携带的信息可能比我们预想的更通用。视觉理解在VLM内部形成的中间表示，经过SwaT的转换后，对文本模型仍然有意义。这对于多模态多智能体系统的设计有直接启发。

VLM（Vision-Language Model）指同时处理图像和文本输入的多模态大模型，通常由视觉编码器（如ViT）和语言模型两部分组成：图像先被编码成视觉token序列，再与文本token拼接后送入语言模型做统一推理。因此VLM内部的KV缓存不仅包含文本上下文，还隐含了图像内容的中间表示。如果SwaT能把这种混合缓存映射到纯文本LLM可理解的格式，就意味着视觉信息在VLM中形成的表示，具有某种跨模态、跨模型的通用语义结构。这一发现对多模态多智能体系统有直接价值：一个负责看图、一个负责推理的智能体组合，可以绕过"先用文字描述图像再推理"的低效路径，直接共享缓存层面的理解。

多智能体通信的另一种可能

SwaT的意义不只在于提速。它指向的是智能体通信范式的变化：从"用自然语言交流"转向"直接共享内部状态"。

当然，这条路还有不少问题待解。跨家族缓存的语义保真度如何随模型差异增大而衰减？缓存压缩带来的信息损失会不会在复杂任务中放大？不同家族组合下的表现是否均衡？这些都需要看完整论文的实验细节。

但至少从摘要数据看，40%的准确率提升和4倍加速不是小数字。如果这些结果能在更广泛的任务上复现，多智能体系统的通信层设计可能会迎来一次实质性的调整。