[控场AI]
· 4 分钟阅读· 2,469 字

Google开源TPU Sync:KV缓存传输延迟降低超90%

Google开源TPU Sync:KV缓存传输延迟降低超90%

Google开源C++库TPU Sync,将TPU上KV缓存传输延迟降低90%以上。

Google 开源了用 C++ 编写的 TPU Sync 库,用于在 TPU 的 HBM、主机 DRAM、存储设备和网络之间搬运 KV 缓存与模型权重。官方报告在 235B 到 480B 参数的 MoE 模型上,KV 传输延迟降低 90% 以上。文章指出,大模型推理瓶颈正从算力转向数据流动,长上下文和高并发使 KV 缓存跨层级迁移频繁,MoE 架构进一步放大了这一矛盾。TPU Sync 作为底层数据传输组件,统一了四类介质的搬运路径,使上层推理系统能更积极地换出缓存以支撑更多并发。但其吞吐收益、硬件配置和对比基线尚未公开,生产效果有待验证,跨加速器通用性也不明确。

Google 近日开源了 TPU Sync,一个用 C++ 编写的库,专门解决 TPU 集群中 KV 缓存和模型权重的跨层级搬运问题。它支持在 TPU 的 HBM、主机 DRAM、存储设备和网络之间移动数据。最受关注的指标是延迟:Google 报告称,在 235B 到 480B 参数的 MoE 模型上,KV 传输延迟降低了 90% 以上。

为什么 KV 缓存搬运成了瓶颈

大模型推理的瓶颈正在从算力转向数据流动。KV 缓存是自回归生成过程中必须保留的中间状态,上下文越长、并发越高,缓存体积膨胀得越快。在多轮对话、长文档摘要、Agent 工具调用等场景里,KV 缓存经常需要在不同层级的存储之间来回迁移:从 HBM 挪到主机内存,从主机内存写到存储,或者通过网络发给另一台设备。

MoE 模型把这个矛盾放大了。235B 到 480B 参数的 MoE 虽然每次推理只激活部分专家,但 KV 缓存仍需完整保留,且专家分布在不同设备上,缓存的路由和聚合更频繁。Google 选择这个区间做测试,说明 TPU Sync 面向的是真实的大规模推理负载,而不是小规模演示。

KV 缓存(Key-Value Cache) 是 Transformer 类模型在自回归推理时的一种内存优化机制。生成每个新 token 时,模型需要与之前所有 token 的 Key 和 Value 向量做注意力计算;如果每次都重新计算这些向量,计算量会随上下文长度平方增长。KV 缓存把已算好的 Key/Value 张量保存在显存中,后续 token 直接复用,从而将每步生成的计算复杂度从 O(n²) 降到 O(n)。代价是缓存体积随上下文长度和并发数线性膨胀:以 70B 级别模型为例,单条 32K 上下文的 KV 缓存可达数 GB,高并发时轻易占满 HBM。因此,如何高效地在 HBM、DRAM、存储和网络之间调度这些缓存,成为推理系统设计的核心问题之一。

MoE(Mixture of Experts,混合专家) 是一种稀疏激活的模型架构:模型包含多个“专家”子网络,但每个 token 只被路由到其中少数几个专家进行计算。这使得总参数量可以做得极大(如 235B–480B),而单次推理的实际计算量只与激活的专家数相关,从而在保持推理成本可控的同时提升模型容量。MoE 的挑战在于专家分布在不同设备上,token 需要跨设备路由,KV 缓存也要随之聚合和迁移,放大了数据搬运的压力。

TPU Sync 做了什么

从公开信息看,TPU Sync 的定位是一个底层数据传输库,而不是完整的推理框架。它用 C++ 实现,目标是在 TPU 的多种存储介质之间提供统一的搬运能力,覆盖四类路径:

  • TPU HBM:片上高带宽内存,推理时的第一落脚点;
  • 主机 DRAM:容量更大但带宽较低,适合存放暂时不用的缓存;
  • 存储:用于持久化或跨阶段复用;
  • 网络:支持设备间传输,对应分布式推理和缓存共享。

把这几条路径收进同一个库,好处是上层推理系统不必为每种介质单独写搬运逻辑。Google 报告 90% 以上的延迟下降,说明这套实现在路径选择和传输效率上做了实质优化,而不只是接口封装。

对推理系统意味着什么

KV 缓存传输延迟直接决定了两件事:一是长上下文请求的响应速度,二是缓存的复用边界。延迟足够低,系统就更愿意把缓存换出到 DRAM 或远端设备,从而在同样的 HBM 容量下支撑更多并发会话;反过来,如果搬运代价高,系统只能保守地把缓存留在 HBM,容量很快被吃满。

90% 的延迟降幅如果能在生产负载中复现,对 MoE 推理的吞吐和成本结构会有实际影响。不过目前公开信息只给出了测试模型区间和延迟指标,没有披露吞吐提升、硬件配置或对比基线,这些数据的缺失让结论的适用范围有待验证。

HBM(High Bandwidth Memory,高带宽内存) 是 TPU、GPU 等加速器上直接封装的高速内存,带宽可达每秒数 TB,但容量有限(通常数十 GB 级别),是推理时模型权重和活跃 KV 缓存的第一落脚点。主机 DRAM 指 CPU 侧的内存,容量可达数百 GB 甚至 TB 级,但带宽比 HBM 低一个数量级以上,且数据往返需要经过 PCIe 等互连总线。存储设备(如本地 NVMe SSD)容量更大、延迟更高,适合持久化或跨阶段复用缓存。网络路径则涉及设备间的 RDMA 或专用互连,用于分布式推理中的缓存共享。TPU Sync 的价值在于把这四类介质纳入统一的传输抽象,让上层调度器可以根据延迟和容量权衡,决定缓存放在哪一层、何时换出换入,而不必为每种介质单独实现搬运逻辑。

开源策略与生态考量

Google 以开源 C++ 库的形式发布 TPU Sync,延续了其在 TPU 软件栈上逐步开放底层组件的思路。对使用 TPU 做推理的团队来说,这意味着可以绕过黑盒,直接在自己的调度逻辑里调用缓存搬运能力。

一个值得观察的点是跨平台适用性。KV 缓存搬运并非 TPU 独有需求,GPU 集群同样面临类似瓶颈。TPU Sync 是否会形成事实标准,还是停留在 TPU 生态内部,取决于它能否适配其他加速器。目前来看,它首先是 Google 自家硬件栈的性能补丁,其次才可能成为通用方案。

快速了解

  • 是什么:Google 开源的 C++ 库,用于 TPU 上 KV 缓存与权重的跨介质传输;
  • 覆盖范围:TPU HBM、主机 DRAM、存储、网络四类路径;
  • 关键指标:235B–480B MoE 模型上 KV 传输延迟降低 90% 以上;
  • 适用场景:长上下文推理、多轮对话、分布式 MoE 推理;
  • 待验证:吞吐收益、硬件配置、对比基线尚未公开。
#TPU Sync#KV缓存#Google TPU#MoE推理#开源库#推理优化#缓存传输
分享:

相关推荐