Google开源TPU Sync:KV缓存传输延迟降低超90%

Google开源C++库TPU Sync,将TPU上KV缓存传输延迟降低90%以上。
Google 开源了用 C++ 编写的 TPU Sync 库,用于在 TPU 的 HBM、主机 DRAM、存储设备和网络之间搬运 KV 缓存与模型权重。官方报告在 235B 到 480B 参数的 MoE 模型上,KV 传输延迟降低 90% 以上。文章指出,大模型推理瓶颈正从算力转向数据流动,长上下文和高并发使 KV 缓存跨层级迁移频繁,MoE 架构进一步放大了这一矛盾。TPU Sync 作为底层数据传输组件,统一了四类介质的搬运路径,使上层推理系统能更积极地换出缓存以支撑更多并发。但其吞吐收益、硬件配置和对比基线尚未公开,生产效果有待验证,跨加速器通用性也不明确。
Google 近日开源了 TPU Sync,一个用 C++ 编写的库,专门解决 TPU 集群中 KV 缓存和模型权重的跨层级搬运问题。它支持在 TPU 的 HBM、主机 DRAM、存储设备和网络之间移动数据。最受关注的指标是延迟:Google 报告称,在 235B 到 480B 参数的 MoE 模型上,KV 传输延迟降低了 90% 以上。
为什么 KV 缓存搬运成了瓶颈
大模型推理的瓶颈正在从算力转向数据流动。KV 缓存是自回归生成过程中必须保留的中间状态,上下文越长、并发越高,缓存体积膨胀得越快。在多轮对话、长文档摘要、Agent 工具调用等场景里,KV 缓存经常需要在不同层级的存储之间来回迁移:从 HBM 挪到主机内存,从主机内存写到存储,或者通过网络发给另一台设备。
MoE 模型把这个矛盾放大了。235B 到 480B 参数的 MoE 虽然每次推理只激活部分专家,但 KV 缓存仍需完整保留,且专家分布在不同设备上,缓存的路由和聚合更频繁。Google 选择这个区间做测试,说明 TPU Sync 面向的是真实的大规模推理负载,而不是小规模演示。
KV 缓存(Key-Value Cache) 是 Transformer 类模型在自回归推理时的一种内存优化机制。生成每个新 token 时,模型需要与之前所有 token 的 Key 和 Value 向量做注意力计算;如果每次都重新计算这些向量,计算量会随上下文长度平方增长。KV 缓存把已算好的 Key/Value 张量保存在显存中,后续 token 直接复用,从而将每步生成的计算复杂度从 O(n²) 降到 O(n)。代价是缓存体积随上下文长度和并发数线性膨胀:以 70B 级别模型为例,单条 32K 上下文的 KV 缓存可达数 GB,高并发时轻易占满 HBM。因此,如何高效地在 HBM、DRAM、存储和网络之间调度这些缓存,成为推理系统设计的核心问题之一。
MoE(Mixture of Experts,混合专家) 是一种稀疏激活的模型架构:模型包含多个“专家”子网络,但每个 token 只被路由到其中少数几个专家进行计算。这使得总参数量可以做得极大(如 235B–480B),而单次推理的实际计算量只与激活的专家数相关,从而在保持推理成本可控的同时提升模型容量。MoE 的挑战在于专家分布在不同设备上,token 需要跨设备路由,KV 缓存也要随之聚合和迁移,放大了数据搬运的压力。
TPU Sync 做了什么
从公开信息看,TPU Sync 的定位是一个底层数据传输库,而不是完整的推理框架。它用 C++ 实现,目标是在 TPU 的多种存储介质之间提供统一的搬运能力,覆盖四类路径:
- TPU HBM:片上高带宽内存,推理时的第一落脚点;
- 主机 DRAM:容量更大但带宽较低,适合存放暂时不用的缓存;
- 存储:用于持久化或跨阶段复用;
- 网络:支持设备间传输,对应分布式推理和缓存共享。
把这几条路径收进同一个库,好处是上层推理系统不必为每种介质单独写搬运逻辑。Google 报告 90% 以上的延迟下降,说明这套实现在路径选择和传输效率上做了实质优化,而不只是接口封装。
对推理系统意味着什么
KV 缓存传输延迟直接决定了两件事:一是长上下文请求的响应速度,二是缓存的复用边界。延迟足够低,系统就更愿意把缓存换出到 DRAM 或远端设备,从而在同样的 HBM 容量下支撑更多并发会话;反过来,如果搬运代价高,系统只能保守地把缓存留在 HBM,容量很快被吃满。
90% 的延迟降幅如果能在生产负载中复现,对 MoE 推理的吞吐和成本结构会有实际影响。不过目前公开信息只给出了测试模型区间和延迟指标,没有披露吞吐提升、硬件配置或对比基线,这些数据的缺失让结论的适用范围有待验证。
HBM(High Bandwidth Memory,高带宽内存) 是 TPU、GPU 等加速器上直接封装的高速内存,带宽可达每秒数 TB,但容量有限(通常数十 GB 级别),是推理时模型权重和活跃 KV 缓存的第一落脚点。主机 DRAM 指 CPU 侧的内存,容量可达数百 GB 甚至 TB 级,但带宽比 HBM 低一个数量级以上,且数据往返需要经过 PCIe 等互连总线。存储设备(如本地 NVMe SSD)容量更大、延迟更高,适合持久化或跨阶段复用缓存。网络路径则涉及设备间的 RDMA 或专用互连,用于分布式推理中的缓存共享。TPU Sync 的价值在于把这四类介质纳入统一的传输抽象,让上层调度器可以根据延迟和容量权衡,决定缓存放在哪一层、何时换出换入,而不必为每种介质单独实现搬运逻辑。
开源策略与生态考量
Google 以开源 C++ 库的形式发布 TPU Sync,延续了其在 TPU 软件栈上逐步开放底层组件的思路。对使用 TPU 做推理的团队来说,这意味着可以绕过黑盒,直接在自己的调度逻辑里调用缓存搬运能力。
一个值得观察的点是跨平台适用性。KV 缓存搬运并非 TPU 独有需求,GPU 集群同样面临类似瓶颈。TPU Sync 是否会形成事实标准,还是停留在 TPU 生态内部,取决于它能否适配其他加速器。目前来看,它首先是 Google 自家硬件栈的性能补丁,其次才可能成为通用方案。
快速了解
- 是什么:Google 开源的 C++ 库,用于 TPU 上 KV 缓存与权重的跨介质传输;
- 覆盖范围:TPU HBM、主机 DRAM、存储、网络四类路径;
- 关键指标:235B–480B MoE 模型上 KV 传输延迟降低 90% 以上;
- 适用场景:长上下文推理、多轮对话、分布式 MoE 推理;
- 待验证:吞吐收益、硬件配置、对比基线尚未公开。
相关推荐

Gemini 4 Neon评测:跑分比肩Carbon,API定价与额度解析
Google Gemini 4 Neon正式上线,跑分紧咬Carbon,API定价3/15为Hydrogen两倍。本文汇总B站UP主实测:Neon可平替90% Carbon场景,AntiGravity中额度消耗仅为Carbon三分之一,并解析订阅渠道限制与2API封号风险。

Gemini 4 Helium或将至?Google订阅限制松绑信号
Google团队成员预告发布将继续,社区推测Gemini 4 Helium(Flash Lite)或成下一款模型;订阅封禁争议获回应,产品负责人以「Soon」暗示可能开放限制。本文梳理Gemini动向、OpenAI Coding Agent与风险管理、豆包实时音视频API及算力商业动态。

AI辅助React开发实战:视频应用优化与错误处理
14年经验开发者演示如何用AI辅助优化React视频应用:通过ImageKit将视频从80MB压缩至5MB(约94%),并实现可靠的错误处理与重试机制。包含与AI协作的规划、代码理解和验证方法。