PyTorch与TorchTitan:在欧盟公共设施上训练1T参数MoE

PyTorch与TorchTitan凭借细粒度灵活性,在欧盟公共基础设施上实现1T参数MoE预训练。
文章介绍了PyTorch官方博客披露的一项进展:借助PyTorch与TorchTitan的细粒度灵活性,约1万亿参数的混合专家(MoE)模型首次在共享公共基础设施上完成预训练,打破了此前认为不可行的判断。文章分析了公共集群训练MoE的核心困难,包括专家并行带来的全对全通信瓶颈、巨大的内存压力,以及公共集群调度导致的抢占与节点动态变化。随后说明TorchTitan如何在并行策略组合和通信优化上提供细粒度控制。文章指出该成果对欧洲公共算力生态和开源AI研究具有积极意义,但原文未披露吞吐、硬件配置与能耗数据,效率边界仍待评估。
从不可能到可行:1T MoE 登陆公共基础设施
长期以来,在共享的公共基础设施上预训练一个约 1 万亿参数的混合专家(MoE)模型,被业界视为不切实际。原因在于 MoE 架构对内存带宽和互联通信的极端需求,而公共集群往往在拓扑结构和资源隔离上存在限制。然而,PyTorch 官方博客近日发布的一篇文章显示,借助 PyTorch 与 TorchTitan 的细粒度灵活性,这一目标已经在欧盟公共基础设施上成为现实。

这一进展的意义远超一次技术演示。它意味着前沿规模的模型训练不再被少数拥有专用超算的机构垄断,公共研究基础设施也能承载万亿参数级别的 MoE 预训练,这对欧洲的 AI 研究生态和开源社区都是一个积极信号。
为什么公共基础设施训练 MoE 如此困难
MoE 模型的核心思想是稀疏激活:每个 token 只经过少数专家网络,从而在不线性增加计算量的前提下大幅扩展参数量。但这也带来了独特的系统工程挑战。
首先是专家并行(Expert Parallelism)带来的全对全通信(All-to-All)。不同 token 被路由到不同专家,而专家分布在不同的设备上,因此每次前向和反向传播都需要在设备间交换大量数据。公共集群的互联带宽往往不如专用超算,且可能与其他任务共享,导致通信成为瓶颈。
其次是内存压力。1T 参数即使以较低精度存储,对显存和主机内存的需求也极为庞大,而公共基础设施的单节点资源通常有限,需要精细的切分策略。此外,公共集群的调度机制可能导致任务被抢占或节点动态变化,这对长时间运行的预训练任务是严峻考验。
PyTorch 博客指出,正是这些架构和互联瓶颈让此前认为在共享公共基础设施上训练如此规模的 MoE 不可行。
混合专家(MoE)模型中的“专家”是前馈网络(FFN)层的子集,每个 token 经路由网络计算后,只被分配给得分最高的少数专家(通常为 Top-1 或 Top-2)。因此模型总参数量可以很大,但每个 token 实际激活的参数量远小于总参数量。正是这种稀疏激活特性,使得扩大参数量带来的计算量增长相对可控,但也要求专家分别部署在不同设备上,从而引入了路由、负载均衡和跨设备通信等额外复杂度。
全对全通信(All-to-All)是一种集合通信操作,每个设备将自己持有的数据分发给所有其他设备,同时从所有其他设备接收数据。在 MoE 的专家并行中,由于每个 token 被路由到不同专家,而专家分布在不同设备上,因此每次前向和反向传播都需要执行 All-to-All,把 token 发送到对应专家所在设备,计算后再收回。该操作的通信量与 token 数量、专家数量和隐藏维度相关,且对网络带宽和延迟高度敏感,在互联带宽受限的公共集群上很容易成为瓶颈。
TorchTitan 的细粒度灵活性如何破局
TorchTitan 是 PyTorch 生态中面向大规模预训练的分布式训练框架。根据原文,其关键在于“细粒度灵活性”(fine-grained flexibility)。这种灵活性体现在多个层面。
在并行策略上,TorchTitan 允许对数据并行、张量并行、流水线并行和专家并行进行组合与细粒度配置。对于 MoE,专家并行需要与其它并行维度协同,才能在不均匀的路由分布下保持负载均衡。TorchTitan 的抽象让研究者可以根据公共集群的实际拓扑调整切分方式,而不是被迫适配固定的并行模式。
在通信优化上,细粒度控制意味着可以针对 All-to-All 通信做调度与重叠,把通信隐藏在计算之后,从而缓解公共集群互联带宽不足的问题。PyTorch 博客强调,正是这种灵活性使得在共享基础设施上扩展预训练成为可能。
数据并行、张量并行、流水线并行和专家并行是分布式训练中常见的四种并行维度。数据并行将不同批次数据分到不同设备;张量并行将单个层的权重矩阵切分到多设备;流水线并行将模型按层切分到不同设备并以微批次流水执行;专家并行则将 MoE 的不同专家分散到不同设备。组合使用这些维度时,需要根据集群拓扑、显存容量和互联带宽做权衡,细粒度配置能力正是为了在受限的公共集群上找到可行的切分方案。
对开源 AI 与公共研究的意义
这一成果的价值不仅在于技术指标。公共基础设施通常由多个机构共享,资源申请和调度有严格限制。能够在这样的环境中完成 1T MoE 预训练,说明训练栈的鲁棒性和可移植性达到了新的水平。
对欧洲而言,这意味着公共算力可以支撑前沿模型研究,减少对私有超大规模集群的依赖。对开源社区而言,PyTorch 和 TorchTitan 的组合提供了一条可复现的路径,其他研究团队可以借鉴其并行配置和通信优化思路,在类似规模的公共集群上开展实验。
当然,原文并未披露具体的训练吞吐、硬件配置或能耗数据,因此尚无法评估这一方案在实际生产中的效率边界。但方向已经明确:公共基础设施不再是万亿参数 MoE 的禁区。
展望与待解问题
从这次实践中可以提炼出几个值得关注的方向。一是通信与计算的进一步重叠,尤其是在互联带宽受限的公共集群上,这可能是提升利用率的关键。二是容错与弹性,公共集群的抢占和节点变化要求训练框架具备更强的检查点与恢复能力。三是路由负载均衡,MoE 的专家路由不均衡会放大通信和计算的不平衡,细粒度并行配置需要与路由算法协同设计。
PyTorch 博客的这篇文章是一个起点,它证明了可行性,但大规模 MoE 在公共设施上的效率优化仍有大量工程空间。对于关注 AI 基础设施和开源训练栈的读者,TorchTitan 的后续进展值得持续跟踪。
相关推荐

GitHub日报·11月19日:老牌前端杀回榜单,历史地图单日涨近千星

Gemini 4 Neon评测:跑分比肩Carbon,API定价与额度解析
Google Gemini 4 Neon正式上线,跑分紧咬Carbon,API定价3/15为Hydrogen两倍。本文汇总B站UP主实测:Neon可平替90% Carbon场景,AntiGravity中额度消耗仅为Carbon三分之一,并解析订阅渠道限制与2API封号风险。

Gemini 4 Helium或将至?Google订阅限制松绑信号
Google团队成员预告发布将继续,社区推测Gemini 4 Helium(Flash Lite)或成下一款模型;订阅封禁争议获回应,产品负责人以「Soon」暗示可能开放限制。本文梳理Gemini动向、OpenAI Coding Agent与风险管理、豆包实时音视频API及算力商业动态。