Prime Intellect推出Prime Mega MoE：可训练融合MoE内核，前向提速3.11倍

Prime Intellect 发布了 Prime Mega MoE，为 DeepSeek 的融合 Mega MoE 内核补上了反向传播，使其真正可训练。在 prime-rl 中，Qwen3 MoE 的训练步速最高提升 34%，前向传播速度达到 3.11 倍。这项工作的意义不在于刷新某个 benchmark，而在于把“推理专用”的高性能内核拉进了训练循环，让 MoE 训练的效率瓶颈有了新的解法。

从“只能推理”到“可以训练”：反向传播是关键拼图

DeepSeek^广告 此前开源的 Mega MoE 内核以融合算子著称，把 MoE 中分散的专家路由、分组矩阵乘等操作合并执行，在推理场景下表现出色。但它缺少反向传播实现，无法直接用于训练——这就像给了一台跑车却不给方向盘。

Prime Intellect 做的正是补上方向盘：为融合内核实现 backward pass，使梯度能够正确回传。据 MarkTechPost 报道，这一改动让内核从推理加速工具升级为完整的训练组件。

对训练框架而言，这意味着不必在训练时退回未融合的慢路径，前向的融合收益可以延续到整个训练流程。MoE 模型参数量大、专家数量多，前向和反向的算子调度开销都很可观，融合内核在训练侧的价值可能比推理侧更大。

前向传播与反向传播是神经网络训练的两个阶段。前向传播将输入数据逐层计算得到输出与损失；反向传播则从损失出发，按链式法则逐层计算梯度，供优化器更新参数。推理只需前向，训练必须两者兼备。融合内核若只有前向实现，训练时要么退回未融合的慢速算子，要么手写反向逻辑，前者损失性能，后者工程成本高。补齐 backward pass 意味着融合内核的每个自定义算子都要定义对应的梯度计算，并保证数值正确性与显存效率，这是内核从推理工具变为训练组件必须跨越的门槛。

性能数字：3.11 倍前向与 34% 步速提升

官方披露的数据有两个关键值：前向传播最高 3.11 倍加速，以及在 prime-rl 中 Qwen3 MoE 训练步速最高提升 34%。

需要区分这两个数字的口径。3.11 倍是内核层面的前向加速，衡量的是单个融合内核相对基线实现的吞吐优势；34% 则是端到端训练步速的提升，已经包含了反向传播、优化器更新、通信等环节的摊销。后者更接近用户实际感受到的收益，前者说明内核本身的上限。

两个数字之间的差距也提示：内核再快，训练整体仍受限于其他环节。把前向加速转化为端到端收益，需要反向实现足够高效，否则反向会成为新的短板。Prime Intellect 同时交付 backward，正是为了让这两端匹配。

为什么 MoE 训练特别需要融合内核

MoE 的核心结构是“路由 + 多专家”。每个 token 被分配到若干专家，计算被拆成大量小矩阵乘，再按路由权重聚合。这种结构在分布式训练中天然伴随不规则的负载和不连续的访存。

融合内核的思路是把路由、分组 GEMM、激活、聚合等步骤合并，减少 kernel launch 次数和中间张量的读写。对 MoE 来说，中间结果的搬运成本往往和计算本身同一量级，融合带来的收益因此被放大。

Prime Mega MoE 选择在 DeepSeek 的 Mega MoE 基础上做训练支持，等于复用了已有的融合设计，再补齐训练所需的梯度路径。对使用 prime-rl 做 MoE 后训练的团队，这是一条无需重写模型的升级路径。

分组 GEMM（Grouped GEMM） 是 MoE 融合内核的核心算子之一。标准 GEMM 对一批形状一致的矩阵做乘加；MoE 中不同专家接收的 token 数量不同，每个专家对应一个形状不同的小矩阵乘。分组 GEMM 将多个形状不一的小矩阵乘打包成一次内核调用，按组偏移量索引各自的输入输出。这减少了 kernel launch 次数与调度开销，也避免了逐专家循环带来的 GPU 空闲。融合内核进一步把路由索引、token 重排、分组 GEMM、激活与加权聚合串成流水，使中间结果尽量留在片上或减少显存往返，这正是 MoE 训练中访存密集环节的主要优化来源。

对开源 MoE 训练生态的影响

Prime Intellect 以开放训练基础设施著称，prime-rl 是其强化学习训练框架。把可训练的融合 MoE 内核放进这一体系，指向的是 MoE 模型的后训练与 RL 微调场景——这类场景对训练步速敏感，且频繁进行前向与反向交替。

从生态角度看，高性能 MoE 内核长期集中在少数框架内部，训练侧的可复用实现更少。Prime Mega MoE 以独立组件形式发布，降低了其他框架接入的门槛。如果后续有更多框架适配，MoE 训练的效率基线可能整体上移。

当然，34% 的步速提升是在特定模型（Qwen3 MoE）和特定框架（prime-rl）下测得，迁移到其他模型结构或并行策略时收益会变化。MoE 的专家数量、路由策略、序列长度都会影响融合内核的实际表现，团队在评估时需要以自己的负载为准。

prime-rl 是 Prime Intellect 开源的强化学习训练框架，面向大模型的后训练与 RL 微调。RL 训练的特点是前向与反向高频交替：采样阶段大量前向推理生成轨迹，更新阶段再做反向传播。这种交替模式对单步延迟敏感，也使融合内核的前向收益能直接体现在采样吞吐上。将可训练的 Mega MoE 内核接入 prime-rl，等于在 RL 循环的前向与反向两侧都使用同一套融合实现，避免采样与更新之间的路径切换开销，这对 MoE 模型的 RL 微调尤为重要。

小结

Prime Mega MoE 的价值可以概括为一句话：让融合 MoE 内核从推理加速器变成训练加速器。3.11 倍前向加速和 34% 训练步速提升是两个不同层面的指标，前者展示内核上限，后者反映端到端收益。对做 MoE 后训练和 RL 微调的团队，这是一个值得关注的开放组件；对更广泛的训练框架生态，它提供了一条复用高性能内核的现成路径。