Google TPU
Google自研的张量处理单元,采用脉动阵列架构,专为深度学习矩阵运算优化,主要通过Google Cloud平台以云服务形式提供,是英伟达GPU的主要替代算力之一
Timeline (last 90 days)
Bonsai 2采用从Qwen3-27B架构出发以三值约束为目标的完整重新训练,而非对已有权重做后期量化(post-training quantization)
近年来出现专为AI推理设计的定制芯片,如Google TPU和AWS Inferentia
转向硬件无关架构后,国产AI芯片、TPU等后端只需对接 vLLM 自身的算子抽象层即可接入,适配成本理论上显著降低
统一的分发层可屏蔽 NVIDIA GPU、AMD ROCm、Intel GPU、Google TPU、Graphcore IPU 等不同硬件的编程模型差异
AMD的ROCm、Intel的oneAPI以及Google TPU等在尝试打破NVIDIA垄断,但软件生态成熟度仍有明显差距
Groq凭借其LPU推理芯片架构完成高估值融资,其创始人是Google TPU的核心架构师
谷歌TPU自2015年开始内部使用,目前已迭代至第五代;AMD凭借MI300X系列GPU获得数据中心份额;亚马逊自研Trainium和Inferentia芯片;微软开发代号Maia的自研AI芯片
All Facts (8)
Bonsai 2采用从Qwen3-27B架构出发以三值约束为目标的完整重新训练,而非对已有权重做后期量化(post-training quantization)
60%Unverified近年来出现专为AI推理设计的定制芯片,如Google TPU和AWS Inferentia
50%Unverified转向硬件无关架构后,国产AI芯片、TPU等后端只需对接 vLLM 自身的算子抽象层即可接入,适配成本理论上显著降低
50%Unverified统一的分发层可屏蔽 NVIDIA GPU、AMD ROCm、Intel GPU、Google TPU、Graphcore IPU 等不同硬件的编程模型差异
50%UnverifiedAMD的ROCm、Intel的oneAPI以及Google TPU等在尝试打破NVIDIA垄断,但软件生态成熟度仍有明显差距
50%UnverifiedGroq凭借其LPU推理芯片架构完成高估值融资,其创始人是Google TPU的核心架构师
50%Unverified谷歌TPU自2015年开始内部使用,目前已迭代至第五代;AMD凭借MI300X系列GPU获得数据中心份额;亚马逊自研Trainium和Inferentia芯片;微软开发代号Maia的自研AI芯片
50%UnverifiedPyTorch 用户使用 TPU 时需借助 torch_xla,而 TPU 主要通过 TensorFlow/JAX 生态接入
50%