vLLM双向KV传输优化多轮Agent TTFT

多轮Agent工作负载每轮都要重新处理不断增长的对话上下文，导致首Token延迟（TTFT）居高不下。vLLM引入的双向KV缓存传输机制，让prefill和decode节点跨轮复用已计算的上下文，在Amazon EC2 P5en实例上配合EFA网络，Qwen3-32B的TTFT最高提升1.6倍，GLM-5-FP8更是达到3.3倍。

多轮Agent的TTFT瓶颈从何而来

Agentic工作负载的典型形态是：用户发起任务，模型调用工具，工具返回结果，模型继续推理。每一轮对话都要把历史上下文重新喂给模型，prefill阶段的计算量随轮次线性增长。传统PD分离架构中，prefill节点和decode节点各自为政，KV缓存无法跨轮传递，上一轮算过的内容下一轮还得再算一遍。

这种重复计算在短对话中影响有限，但在多轮Agent场景下会迅速累积。上下文越长，TTFT恶化越明显，最终成为交互体验的硬约束。问题的根源不在算力不足，而在缓存复用机制缺失。

TTFT（Time To First Token） 指从请求发出到模型输出第一个Token的耗时，是衡量交互式推理响应速度的核心指标。在Agent场景中，它直接决定了工具调用循环的启动延迟。与之相对的是 TPOT（Time Per Output Token），衡量解码阶段每个Token的平均生成时间。多轮对话中，由于历史上下文需要重新prefill，TTFT会随轮次和上下文长度增长而显著恶化，而TPOT相对稳定。因此，优化多轮Agent体验的关键在于控制TTFT，而非单纯提升解码吞吐。

Prefill与Decode的计算特性差异 是理解PD分离的前提。Prefill阶段对整段输入做一次前向计算，产生所有位置的KV缓存，属于计算密集型（compute-bound），可高度并行；Decode阶段逐Token自回归生成，每步只处理一个Token，但需读取全部历史KV缓存，属于内存带宽密集型（memory-bound）。两者对硬件资源的需求截然不同，混部时会相互干扰，这正是PD分离架构的出发点。

双向KV传输的工作机制

vLLM的方案是让prefill节点和decode节点之间建立双向的KV缓存通道。当一轮生成结束后，decode节点上持有的KV缓存会被传回prefill节点，下一轮开始时直接复用，跳过对已有上下文的重计算。

双向的含义在于传输不是单向的：prefill向decode传递初始KV，decode在生成过程中产生的增量KV也回流到prefill侧。这样每一轮都会在前一轮的基础上做增量prefill，而非全量重算。配合EFA（Elastic Fabric Adapter）的高带宽低延迟网络，节点间传输开销被控制在可接受范围内。

与PD分离架构的协同

PD分离（Prefill-Decode Disaggregation）把预填充和 decoding 拆到不同节点，本身是为了让两类计算各自优化。但分离之后KV缓存被割裂，多轮场景下反而放大了重复计算。双向KV传输补上了这块短板，让PD分离架构在多轮Agent负载下也能保持效率。

KV缓存（Key-Value Cache） 是Transformer推理中的关键数据结构。自注意力机制在生成每个Token时需要与所有历史Token的Key和Value向量做注意力计算，为避免重复计算，推理引擎会将这些K/V向量缓存下来。KV缓存的大小与层数、注意力头数、头维度、序列长度和批大小成正比，在长上下文场景下可占用数十GB显存。多轮Agent中，KV缓存能否跨轮复用，直接决定了是否需要重复prefill。双向传输的本质，就是让这份缓存成为可在节点间迁移的状态，而非绑定在单一节点生命周期内的临时数据。

EFA（Elastic Fabric Adapter） 是AWS为EC2实例提供的高性能网络接口，专为HPC和分布式AI训练/推理设计。它通过OS bypass机制让应用直接访问网络硬件，绕过内核协议栈，从而显著降低延迟并提高带宽利用率，同时支持SRD（Scalable Reliable Datagram）协议实现多路径传输。在双向KV传输场景中，KV缓存需要在prefill和decode节点间频繁往返，传输的数据量大且对延迟敏感，EFA的低延迟高带宽特性使这一开销不至于抵消缓存复用带来的收益。普通TCP网络下，跨节点KV传输的延迟可能成为新瓶颈。

实测数据：不同模型收益差异明显

官方在Amazon EC2 P5en实例上的测试显示，收益因模型而异：

• Qwen3-32B：TTFT最高提升1.6倍
• GLM-5-FP8：TTFT最高提升3.3倍

FP8量化的GLM-5收益显著更高。一个合理的解释是，FP8模型单次prefill的计算吞吐更高，重复prefill的绝对耗时占比更大，因此省掉重计算的收益也更明显。模型规模、量化精度、上下文长度都会影响最终倍率，3.3倍是特定配置下的峰值而非普遍值。

对Agent应用开发的启示

这项优化的价值不只在推理侧。对构建Agent应用的团队来说，TTFT直接决定工具调用循环的响应速度。多轮任务中每一轮都要等模型"回忆"历史，用户体验会被反复打断。把TTFT压下来，Agent的交互节奏才能接近实时对话。

另一个值得关注的点是架构选择。如果团队已经在用PD分离部署vLLM，双向KV传输是顺势升级；如果还在单节点部署，需要考虑跨节点传输带来的网络依赖——EFA这类高速互联不是所有环境都具备。收益与部署复杂度之间的权衡，取决于Agent负载的轮次深度和上下文规模。

从更宏观的视角看，KV缓存正在从"推理过程中的临时状态"变成"可跨轮、可跨节点流转的一等资源"。围绕KV缓存的复用、传输、淘汰策略，会成为Agent推理基础设施的竞争焦点。vLLM这次的双向传输是这条路线上的一个明确信号。