微软Maia 300发布：96加速器机架与自研推理芯片路线

微软在10月12日正式发布了第三代自研AI推理加速器Azure Maia 300。与以往芯片发布不同，这次微软把机架级参数和功耗包络放在了公告最前面——96颗加速器、167千瓦机架、27.7TB HBM容量、1.7PB/s聚合内存带宽。这组数字本身就是一条信息：微软在谈论的是数据中心容量，而不只是一颗芯片。

机架才是产品单位

云+AI执行副总裁Scott Guthrie将Maia 300定义为"为当今新兴AI工作负载设计的完整智能系统"，涵盖长上下文推理、延迟敏感的对话体验和持续多步的Agent任务。更重要的是部署节奏：微软计划从2027年起将Maia系列扩展至多吉瓦级部署，并使其成为微软产品和服务的首要推理系统。

一个以功耗和机架数量开头的芯片公告，本质上是在做容量声明。Maia 200已经在生产环境中承载包括Microsoft Copilot在内的负载，GitHub Copilot和Microsoft Foundry将在年底前跟进，OpenAI模型、微软自研MAI模型和主流开源模型家族都运行在这套芯片上，覆盖美国、欧洲和澳大利亚。

多芯片封装与HBM4内存

Maia 300采用多chiplet设计：计算chiplet基于台积电N2P工艺，内存控制器和I/O功能放在单独裸片上，让每种功能选用最适合其角色的技术。

内存配置是推理算力的决定因素。8个HBM4堆栈提供288GB容量和18TB/s带宽，微软报告这是Maia 200的2.5倍内存带宽、33%更多容量。封装也从统一内存组织转向跨chiplet的局部性感知设计，数据放置跟随消费它的计算单元。

SiliconANGLE的解读值得关注：288GB容量与NVIDIA Rubin加速器持平，但内存带宽低约20%。两家厂商在容量上趋同、在单加速器带宽上分叉，这恰好描述了买家实际面对的设计空间。

Chiplet（小芯片）设计是指将一颗SoC拆解为多个功能独立的裸片，各自选用最匹配的制程工艺，再通过先进封装互连成一个逻辑整体。传统单片式方案里，计算、内存控制器和I/O必须共用同一套工艺，而I/O电路对先进制程的收益远低于逻辑电路，强行统一会推高成本。Maia 300把计算chiplet交给台积电N2P，把内存控制器和I/O放在成熟制程裸片上，正是这一思路的典型应用。代价是跨裸片通信带来延迟和功耗开销，因此封装内的互连密度和局部性设计成为关键，这也是文中"数据放置跟随消费它的计算单元"这一表述的由来。

HBM4（第四代高带宽内存） 是JEDEC标准化的堆叠式DRAM，通过硅中介层与加速器裸片紧邻放置，以极宽的总线换取远超GDDR的带宽。相比HBM3E，HBM4将接口位宽翻倍至2048位，并支持更高的单堆栈容量与速率。对推理而言，HBM的意义不只是带宽，更是容量——模型权重、KV Cache和激活值都必须驻留在显存中，容量决定能跑多长的上下文和多高的并发。Maia 300用8个堆栈做到288GB和18TB/s，这一配置直接划定了它可服务的模型规模上限。

167千瓦机架内塞进96颗加速器

Maia 300在167千瓦包络内集成96颗加速器，分布在24个四加速器托盘中，每个托盘包含主机处理器、内存、存储和冷却。将主机折叠进加速器托盘是加速器密度翻倍的关键，因为独立的主机托盘从平面图中消失了。

机架HBM带宽增长5.1倍，而机架功耗增长2.6倍，换算下来每瓦HBM带宽提升1.95倍，接近微软按加速器公布的约2倍数值。按每瓦token数思考的团队会发现这个数字比任何峰值指标都更有用，因为功耗包络才是数据中心计费和设施需要冷却的对象。

冷却方案是功耗包络的另一半。液冷承担机架80%以上的热负载，来自加速器、稳压器和交换ASIC，设计可连接设施水或通过热交换器单元适配风冷机房。这两个选项直接决定哪些建筑能承载这套容量。

功率密度与PUE是理解167千瓦这一数字的背景。传统风冷机架的功率上限长期在10至20千瓦区间，即便采用高密度风冷方案也鲜有超过40千瓦。167千瓦意味着单机架功耗提升了近一个数量级，风冷在物理上已无法带走如此集中的热量，液冷因此从可选变为必需。文中提到的"设施水"指直接接入数据中心的冷冻水回路，"热交换器单元"则是在机架与设施之间加一层闭式循环，使老旧风冷机房也能承载。

这一转变也改变了数据中心的规划逻辑。过去按机架数和占地面积扩容，现在要按兆瓦供电容量和冷却能力扩容，供电、配电、冷却三者中的短板决定实际可部署的算力。PUE（电能利用效率） 衡量数据中心总能耗与IT设备能耗之比，液冷方案通常能显著降低PUE，因为冷却系统自身耗电更少。对采购方而言，每瓦token数之所以比峰值算力更有参考价值，正是因为电费与散热才是长期运营成本的主体。

以太网上的12,288加速器超级Pod

Scale-up网络是Maia 300最偏离传统GPU集群的地方。微软的AI网络控制器在以太网上运行定制AI传输，拓扑分两层：机架内半交换架构中每颗加速器将连接性分配给托盘内直连伙伴和到其余94颗的交换路径，全部电气连接；第二层光交换将最多128个机架连成一个超级Pod。

值得点名的工程选择是机架内和跨机架流量之间的带宽分配在系统设计完成后仍然开放。它成为由作业打包设定的参数，加速器可以750GB/s的速度连接到超级Pod中的远端对等体。张量并行可以留在单个机架内，而专家并行和流水线并行跨机架展开，调度器可以通过调用相邻机架的热备容量来吸收故障托盘。

这是把调度能力表达为网络设计。以前被困在单个机架边界内的容量，现在可以被打包在别处的作业使用，提升了同一批硅片的有效利用率。

Scale-up与Scale-out是AI集群网络的两个层级，理解它们才能读懂超级Pod的设计。Scale-up指把多颗加速器连成一个高带宽、低延迟的"大芯片"，用于张量并行这类每层都要频繁通信的并行策略；Scale-out则是把大量节点连成集群，用于数据并行和流水线并行，对带宽和延迟的要求相对宽松。传统GPU方案中，scale-up域通常局限于单个机架内的NVLink或类似高速互连，跨机架只能走较慢的scale-out网络，这形成了硬性的容量边界。

Maia 300的特别之处在于把scale-up域用两层以太网扩展到最多128个机架，即12,288颗加速器。机架内用电气连接保证低延迟，机架间用光交换维持带宽，整套基于以太网而非专有互连。文中提到的专家并行（将MoE模型的不同专家分散到不同设备）和流水线并行（按层切分模型）因此可以跨机架展开，而通信最密集的张量并行仍留在单机架内，这是对通信开销与规模扩展的折中。

40%每兆瓦token提升的基准是谁？

微软的效率标题是：Maia 300相比领先的GPU系统应能提供40%更多每兆瓦token，在96加速器配置下达到Maia 200机架级token吞吐的7倍。Maia 200则被记为在Teams、Copilot和Cowork内置AI方面比领先GPU基础设施多1.7倍每瓦token。

这句话的两半权重不同。7倍机架级数字和2.5倍每瓦性能是微软产品线内部的比较。40%这个数字跨越了厂商边界，而微软的帖子没有点名对标系统、模型、序列长度或批处理配置。The Verge在同一天报道了相同数字，也缺失同样的信息。

跨厂商数字应该作为问题的起点。一个有用的问题是：每兆瓦token比较用的是哪个基线、哪个模型、哪个上下文长度、两个系统的服务栈是否都经过调优。答案决定这个数字能否迁移到你的工作负载。

每瓦token数（tokens per watt） 正在取代FLOPS成为推理时代的核心效率指标，原因在于大模型推理的瓶颈从算力转向了内存带宽和功耗。一次解码步骤要读取全部模型权重，因此实际吞吐往往受限于显存带宽而非计算单元，而功耗又直接对应可部署的算力总量。把吞吐除以功率，得到的才是数据中心在给定供电容量下真正能交付的服务量。

也正因如此，跨厂商的效率声明格外需要审视。测量条件中的模型规模、上下文长度、批处理大小、量化精度、并行策略和软件栈优化程度，每一项都能让数字产生数倍差异。相同硬件在不同服务栈下的每瓦token数可能相差一倍以上，因此一个未披露基线的40%优势，既可能是架构差异，也可能只是对比了调优程度不同的两套系统。对采购方来说，可行的做法是用自己的模型和上下文长度在双方平台上实测，而非采信厂商的横向对比。

围绕机架功耗做容量规划

对推理买家而言，这个公告即使芯片永远不会进入你的机房，也可以作为规划模板。容量现在以机架和兆瓦计价，计算顺序是：所需每秒token数，除以你的工作负载所用上下文长度下的每瓦token数，得到功率数字，然后面对冷却限制和设施限制。

微软自己的两个数字改变了这个计算的行为。每机架加速器翻倍意味着更少机架承载相同负载，每瓦带宽改善把更多瓶颈推到冷却和供电上。液冷值得在计划中单独列一行：一个通过液冷移除80%以上热负载的机架，需要设施水或热交换器。

微软表示11月的Ignite 2026会公布更多细节。在那之前，已发布的机架表和两张架构图是这份公告中技术读者可以验证的部分。