vLLM推出基于推送的KV传输：分离式推理TTFT提升3倍

vLLM 的预填充-解码分离架构将 LLM 推理拆分为两个独立阶段，但阶段间的 KV 缓存传输往往成为性能瓶颈。近期，vLLM 团队引入了一种基于推送（push-based）的 NIXL 连接器，将传输协调从关键路径上移开。在 Amazon EC2 P5en 实例搭配 AWS EFA 的基准测试中，该方案实现了高达 3 倍的 TTFT（首令牌时间）改善和 30% 的 TPOT（每输出令牌时间）提升。

分离式推理的瓶颈：KV 缓存传输

在 vLLM 的分离式推理中，预填充阶段负责处理用户输入并生成 KV 缓存，解码阶段则基于缓存逐令牌生成输出。两个阶段运行在不同的引擎实例上，因此必须通过网络传输 KV 缓存。传统的拉取（pull-based）模式中，解码实例主动向预填充实例发起传输请求，协调开销落在解码侧的关键路径上，直接拖慢首令牌生成。

KV 缓存是 Transformer 模型在自回归生成过程中保存的键（Key）和值（Value）张量，用于避免对已处理 token 的重复计算。在预填充阶段，模型会为整个输入序列计算并存储所有层的 KV 缓存；解码阶段则复用这些缓存，仅计算新 token 的注意力。因此，KV 缓存的大小与序列长度、层数、隐藏维度成正比，对于长上下文模型可达数十 GB。在分离式推理中，这部分数据必须通过网络从预填充实例传输到解码实例，其传输延迟直接影响了首令牌时间（TTFT）。

推送模式：将协调移出关键路径

新方案的核心在于改变数据传输的发起方向。预填充实例在完成 KV 缓存生成后，主动将缓存推送到解码实例，而解码实例只需等待数据到达。这样，传输协调（如连接建立、元数据交换）不再阻塞解码实例的令牌生成循环。NIXL 连接器作为底层传输库，负责高效管理内存和网络资源。

据 vLLM 团队介绍，推送模式减少了空转等待时间，尤其适合高并发场景。解码实例可以更早开始处理下一个请求，从而提升整体吞吐。

NIXL（NVIDIA Inference Xfer Library）是一个专为 AI 推理场景设计的高性能数据传输库，支持 GPU 内存直接访问（GPUDirect）、RDMA 和多种网络后端。它提供了低延迟、高吞吐的异步传输原语，并允许应用程序自定义传输协调逻辑。在 vLLM 的推送式连接器中，NIXL 负责管理内存注册、连接建立和数据搬运，使得预填充实例能够高效地将 KV 缓存推送至解码实例，而无需解码侧频繁轮询或等待。

基准测试：TTFT 与 TPOT 双双改善

在 Amazon EC2 P5en 实例上，利用 AWS EFA（弹性网络适配器）进行节点间通信，团队对比了推送式与拉取式连接器的表现。结果显示，TTFT 最高提升 3 倍，TPOT 改善约 30%。这意味着用户能更快看到第一个输出令牌，并且后续令牌的生成节奏也更紧凑。

这些改进对于聊天机器人、实时翻译等延迟敏感型应用尤为重要。更低的 TTFT 直接提升交互体验，而 TPOT 的优化则让长文本生成更加流畅。

AWS EFA（Elastic Fabric Adapter）是亚马逊云科技提供的一种网络接口，专为高性能计算（HPC）和机器学习工作负载设计。它支持 OS 旁路（OS bypass）和 RDMA（远程直接内存访问），能够显著降低节点间通信延迟并提高带宽利用率。在 EC2 P5en 实例上，EFA 为多节点分布式推理提供了必要的底层网络支持，使得 KV 缓存的大规模传输不会成为瓶颈。结合 NIXL 库，EFA 可以充分发挥其低延迟特性，从而放大推送模式的优势。

对 vLLM 生态的影响

推送式 KV 传输是 vLLM 在分离式推理方向上的重要优化。它不改变模型结构或推理逻辑，而是通过调整传输协调机制来释放硬件潜力。对于已经部署分离式推理的团队，升级到新连接器可能带来立竿见影的延迟收益。

不过，推送模式对预填充实例的主动推送能力提出更高要求，需要确保网络带宽和缓冲区管理得当。vLLM 团队在博客中提供了配置指南，建议用户根据实际负载调整参数。

随着分离式推理在低成本、高吞吐场景中日益流行，KV 传输效率将成为区分推理框架性能的关键指标。vLLM 此次优化为社区提供了一个可复用的思路：将协调逻辑从关键路径上剥离，往往比单纯增加带宽更有效。