[控场AI]
产品

Torch-TPU

由 Google 与 Meta 合作开发的 PyTorch 原生 TPU 后端,使 SGLang 和 vLLM 等主流推理引擎能够无需修改即可在 Google TPU 上原生运行,无需迁移至 JAX 生态

时间轴 (近 90 天)

10月4日

Torch-TPU 保留了 GPU 用户熟悉的调度器、批处理系统、服务端 API 以及编译工作流等组件

待验证50%
10月4日

Torch-TPU 方案保持服务引擎在上游,使 SGLang 与 vLLM 社区新增的模型支持和功能特性可直接在 TPU 上运行而无需单独为 TPU 编写实现

待验证50%
10月4日

原生 PyTorch TPU 后端意味着直接通过 PyTorch 的 Dispatcher 和 TorchInductor/torch.compile 体系驱动 TPU,而非绕道 JAX/XLA 的编程模型

待验证50%
10月4日

本次公开信息仅为大会演讲预告,具体性能数据、支持模型范围及 Torch-TPU 后端技术实现细节未在预告中披露

待验证50%

全部知识事实 (4)

来源文章