产品v5e / TPU v5e chip / v5litepod-1

TPU v5e

Google 第五代张量处理单元（TPU）中面向推理与中等规模训练的版本，单芯片提供约 15.75 GiB HBM，支持 JAX 原生模型和 PyTorch 回退（torchax）两种执行路径

时间轴 (近 90 天)

9月5日

Google TPU v5e、Groq LPU和AWS Inferentia2是专为推理优化的新型芯片

待验证50%

8月28日

降低大模型转写延迟的优化手段包括模型蒸馏、推测解码、KV-cache 优化、硬件加速（如 TPU v5e）及流式 chunked attention

待验证50%

8月25日

据估算，在同等推理吞吐量下，TPU v5e的运营成本可能比租用NVIDIA H100低30%-50%

待验证50%

Google TPU v5e、Groq LPU和AWS Inferentia2是专为推理优化的新型芯片

降低大模型转写延迟的优化手段包括模型蒸馏、推测解码、KV-cache 优化、硬件加速（如 TPU v5e）及流式 chunked attention

据估算，在同等推理吞吐量下，TPU v5e的运营成本可能比租用NVIDIA H100低30%-50%