ACCT：跨大模型KV缓存迁移新方法

异构部署下的上下文计算困境

当LLM系统从单一模型调用演进为异构部署时，一个容易被忽视的成本正在累积：同一份上下文被不同模型反复处理。在路由机制下，每次切换目标模型，新模型都需要从头prefill（预填充）整个上下文，重复消耗大量算力。

ACCT（Asymmetric Cross-LLM Context Transfer）针对的正是这一痛点。它的目标场景明确而克制：同一模型家族内、不同参数规模的模型之间的KV缓存迁移。这种"同族异规模"的设定并非妥协，而是抓住了实际部署中最常见的模型组合形态——用大模型处理复杂推理，用小模型承接高频请求。

Prefill（预填充） 是LLM推理的第一个阶段，模型需要一次性处理整个输入上下文，计算并缓存每一层的Key和Value向量（即KV缓存），为后续逐token生成做准备。由于注意力机制的自回归特性，prefill阶段的计算量与上下文长度呈二次方关系，长上下文下开销急剧上升。在异构部署中，每次请求被路由到新模型时，新模型都必须重新执行完整的prefill，即使上下文内容完全相同。ACCT的核心思路正是复用源模型已经计算好的KV缓存，避免目标模型重复prefill，从而将这部分算力节省下来。

三个轻量组件如何协同工作

ACCT的架构由三个组件构成，每个组件解决迁移链条上的一个环节。

Cartographer：定位关键上下文

Cartographer负责为每个目标层和KV头识别与查询相关的上下文token。跨模型迁移的核心难题在于，源模型和目标模型的注意力分布并不一致，直接搬运KV缓存会引入噪声。Cartographer的作用是在目标模型的视角下重新筛选，找出真正影响输出的那部分上下文。

KV缓存（Key-Value Cache） 是Transformer解码过程中的关键优化：在自回归生成时，模型需要反复使用之前所有token的Key和Value向量来计算注意力。为避免重复计算，推理系统会将这些向量缓存起来。缓存的大小与层数、KV头数、头维度、上下文长度和批大小成正比，在长上下文场景下可占用数十GB显存。ACCT迁移的正是这份缓存，但源模型和目标模型的注意力分布不同，因此需要Cartographer重新筛选，只保留对目标模型真正重要的token对应的KV条目。

Allocator：在总预算下分配稀疏额度

Allocator决定在共享的总KV预算约束下，每个目标层和KV头保留多少个上下文token。这是一个资源分配问题——不同层、不同头对上下文的依赖程度不同，平均分配会浪费预算，Allocator让稀疏化变得可控。

稀疏KV（Sparse KV） 指在KV缓存中只保留部分token的键值对，而非全部上下文。由于注意力机制通常对少数关键token赋予较高权重，稀疏化可以在显著降低显存和计算开销的同时保持输出质量。ACCT中，Allocator在总预算约束下决定每层、每个KV头保留多少token，形成非均匀的稀疏模式；Compiler再将筛选后的源KV转换为目标模型可直接消费的稀疏格式。这样目标模型无需重新prefill，直接基于稀疏KV进行推理，实现上下文计算与下游推理解耦。

Compiler：完成KV格式转换

Compiler将筛选后的源KV转换为目标模型可直接消费的稀疏KV。经过这一步，目标模型无需重新处理原始上下文，即可基于迁移来的KV执行推理。上下文计算由此从下游推理中解耦出来。

效果验证：性能与速度的双重收益

论文在两类互补场景中评估ACCT：五个通用能力基准，以及六个高度依赖上下文的专业任务。

性能方面最值得关注的结论是：即便将KV缓存缩减75%，ACCT仍能匹配甚至超越目标模型原有的推理表现。这意味着稀疏化没有以牺牲质量为代价。

速度方面的数据同样可观：在约19K token的上下文长度下，ACCT的KV转换相比目标模型的上下文prefill实现了6.5至21.2倍的加速。上下文越长，prefill的绝对开销越大，这一加速比的实际价值也就越明显。

跨模型复用的边界与想象空间

ACCT的价值不只在于省算力。它把"上下文计算"变成了一种可以在模型间流转的资产——一次prefill，多处复用。对于需要在多个模型间动态路由的系统，这相当于把重复劳动从推理路径中剔除。

需要理性看待的是论文设定的边界：迁移仅在同一个模型家族内部成立。跨家族迁移面临tokenizer、层结构和注意力机制的差异，ACCT并未声称解决这一问题。但就同族异构部署这一高频场景而言，在有限KV预算下完成跨模型上下文计算迁移，ACCT已经给出了可复现的可行性证明。