PixelMoE：用LLM式MoE稀疏扩展像素空间扩散模型

扩散模型领域长期存在一个路线选择：是在潜空间建模，还是直接在像素空间建模。潜空间方案借助预训练tokenizer压缩图像，计算效率高，但引入了一个有损的中间表示；像素空间方案直接对原始图像建模，理论上更干净，却一直面临"扩展难"的问题——模型容量和计算量被死死绑在一起，想变强就得烧更多算力。

PixelMoE的切入点正在这里。它证明了一件事：LLM领域成熟的Mixture-of-Experts（MoE）架构，可以直接迁移到像素空间扩散模型上，不需要任何扩散专属的路由机制。

像素空间扩散的扩展瓶颈

潜空间扩散（如Stable Diffusion系列）的核心优势在于降维：把512×512的图像压缩到64×64的潜表示，Transformer的序列长度大幅缩短，计算成本随之下降。代价是tokenizer本身会丢失高频细节，生成质量的上限受限于重建质量。

像素空间扩散跳过了这个瓶颈，直接在高分辨率像素上做去噪。但已有的像素空间模型（如JiT等）采用的是dense scaling策略——每增加一份模型容量，就增加一份推理计算量。这意味着在固定推理预算下，你很难通过单纯扩大参数量来获得更好的生成质量。

这个问题在LLM领域早就有了成熟解法：MoE。通过稀疏激活，模型总参数量可以远大于每次前向传播实际使用的参数量。但此前没有人验证过，标准LLM式MoE能否直接用于像素空间扩散。

什么是密集扩展（Dense Scaling）与稀疏扩展（Sparse Scaling）

dense scaling指模型的每一份参数量都在每次前向传播中被使用，总参数量与单次推理计算量（FLOPs）大致成正比。这带来一个直接后果：在固定推理预算下，想提升模型容量就必须增加计算开销，二者无法解耦。

稀疏扩展的核心思路是引入条件计算（conditional computation）：模型拥有大量参数，但每个输入只激活其中一小部分。MoE是最典型的实现。此时“总参数量”与“活跃参数量”成为两个独立维度，前者决定模型表达能力上限，后者决定推理成本。PixelMoE正是借助这一解耦，在固定活跃参数量下扩大总容量，从而突破了像素空间扩散长期受困的扩展瓶颈。

PixelMoE的核心设计

标准Token-Choice路由，不做扩散特化

PixelMoE最值得关注的设计决策是"不做什么"。它没有设计扩散专属的路由机制，没有引入辅助路由目标函数，而是直接采用LLM中标准的Token-Choice（TC）路由。

具体来说，每个token根据输入内容选择最匹配的专家子集进行稀疏计算，同时保留一个共享专家（shared expert）来捕获所有输入都需要的通用表示。负载均衡则使用基于bias的策略，避免专家利用率塌缩。

这套组合在LLM中已经被反复验证，PixelMoE的贡献在于证明它在像素空间扩散中同样有效——不需要因为"扩散模型的去噪过程有特殊的时间步结构"就重新发明一套路由逻辑。

Token-Choice路由与负载均衡

Token-Choice（TC）路由是LLM MoE中最常见的形式：路由网络为每个token生成对所有专家的打分，再选出Top-K个专家处理该token。与之相对的还有Expert-Choice路由，即由每个专家挑选要处理的token。TC路由实现简单、天然支持自回归与变长输入，因而成为事实标准。

其固有风险在于专家利用率失衡——少数专家被反复选中，其余专家长期闲置，导致容量浪费且训练不稳定。常见对策包括：加性bias调整路由分数、辅助负载均衡损失、专家容量上限等。PixelMoE采用的是基于bias的策略，通过可学习或动态调整的偏置修正路由logits，把token拉向未被充分利用的专家，从而在不干扰主任务损失的前提下维持均衡。这说明该机制同样适用于扩散去噪中按空间位置与时间步分布的token。

像素空间层次化流匹配

稀疏扩展解决的是容量问题，但像素空间建模还有另一个挑战：不同去噪阶段对空间分辨率的需求不同。

PixelMoE引入了Pixel-Space Hierarchical Flow Matching，让空间分辨率沿着去噪轨迹变化。早期阶段关注全局结构形成，需要较大的感受野和较低的分辨率；后期阶段聚焦细节精修，需要更高分辨率。这种从粗到细的策略与稀疏容量扩展形成互补，共同支撑模型在像素空间的扩展效率。

流匹配与层次化生成

流匹配（Flow Matching）是一类训练连续时间生成模型的方法，它学习一个时间相关的速度场，把噪声分布沿直线或近似直线的概率路径输运到数据分布，可视为扩散模型的一种更简洁、训练更稳定的推广，其采样可由ODE求解器完成。

层次化（Hierarchical）生成则借鉴了从粗到细的经典思想：先生成低分辨率、关注全局结构的结果，再逐级提升分辨率精修细节。PixelMoE把这两者结合，让分辨率沿去噪时间轴变化，早期用低分辨率大感受野捕捉布局，后期用高分辨率专注纹理。这种动态分辨率设计不仅契合扩散过程的由粗到细特性，还与稀疏容量扩展互补——前者优化每个阶段的计算分配，后者扩大模型容量，二者共同提升了像素空间扩散的扩展效率。

实验表现

在类别条件ImageNet-1K基准上，PixelMoE在256×256分辨率下取得FID 1.47，512×512下取得FID 1.53。这两个数字的含金量在于：没有使用表示对齐（representation alignment），也没有使用感知损失（perceptual losses）。

与dense版本对比，在等效活跃参数量下，PixelMoE在所有模型规模上都一致优于dense对应方案。这直接验证了稀疏容量扩展在像素空间的有效性——总参数量增加不等于计算量等比例增加，但生成质量确实提升了。

与当前领先的像素空间和潜空间生成模型相比，PixelMoE的FID成绩也具有竞争力。考虑到像素空间模型通常被认为在效率上吃亏，这个结果说明稀疏架构可能改变这条路线的基本经济学。

FID及其评价含义

FID（Fréchet Inception Distance）是衡量生成图像分布与真实图像分布差异的常用指标，值越低表示生成质量与多样性越接近真实数据。它通过Inception网络提取特征，计算两组特征分布之间的Fréchet距离。FID对模型是否使用感知损失、表示对齐等训练技巧较为敏感，因此PixelMoE在“不用表示对齐、不用感知损失”的前提下取得1.47（256×256）和1.53（512×512），更能反映架构本身的增益。需要说明的是，FID受采样数量、预处理和Inception版本影响，跨论文比较应以相同评测协议为准。

为什么这件事重要

PixelMoE的价值不在于刷新了某个benchmark，而在于打开了一条路径：像素空间扩散模型的扩展，可以复用LLM社区已经积累的MoE工程经验和最佳实践。

MoE的训练基础设施、路由策略、负载均衡方案、并行化实现，这些在LLM领域已经打磨了数年。如果像素空间扩散能直接借用这套工具链，那么它的扩展曲线会比之前预期陡峭得多。

另一个隐含信号是架构趋同。Transformer从NLP走向视觉，MoE从LLM走向扩散模型，这种跨领域的组件复用正在加速。对于做模型架构的人来说，值得关注的不是某个具体模型的FID数字，而是"哪些设计是真正领域无关的"——PixelMoE给出的答案是：标准MoE路由就是其中之一。