PixelMoE
一种像素空间扩散模型，采用标准LLM式MoE稀疏扩展架构，结合Token-Choice路由和像素空间层次化流匹配，在固定活跃参数量下扩大模型总容量
时间轴 (近 90 天)
PixelMoE证明LLM领域成熟的Mixture-of-Experts（MoE）架构可以直接迁移到像素空间扩散模型上，不需要任何扩散专属的路由机制。
PixelMoE直接采用LLM中标准的Token-Choice路由，保留一个共享专家，使用基于bias的负载均衡策略，没有设计扩散专属的路由机制或辅助路由目标函数。
PixelMoE引入了Pixel-Space Hierarchical Flow Matching，让空间分辨率沿去噪轨迹变化：早期阶段用低分辨率大感受野捕捉全局结构，后期阶段用高分辨率精修细节。
在类别条件ImageNet-1K基准上，PixelMoE在256×256分辨率下取得FID 1.47，512×512下取得FID 1.53，且未使用表示对齐和感知损失。
与dense版本对比，在等效活跃参数量下，PixelMoE在所有模型规模上都一致优于dense对应方案。
稀疏扩展通过条件计算使'总参数量'与'活跃参数量'成为两个独立维度，前者决定模型表达能力上限，后者决定推理成本；PixelMoE借助这一解耦在固定活跃参数量下扩大总容量。
PixelMoE的价值在于证明像素空间扩散模型的扩展可以复用LLM社区已积累的MoE工程经验和最佳实践，包括训练基础设施、路由策略、负载均衡方案和并行化实现。
PixelMoE的FID成绩与当前领先的像素空间和潜空间生成模型相比具有竞争力。
全部知识事实 (8)
PixelMoE证明LLM领域成熟的Mixture-of-Experts（MoE）架构可以直接迁移到像素空间扩散模型上，不需要任何扩散专属的路由机制。
50%待验证PixelMoE直接采用LLM中标准的Token-Choice路由，保留一个共享专家，使用基于bias的负载均衡策略，没有设计扩散专属的路由机制或辅助路由目标函数。
50%待验证PixelMoE引入了Pixel-Space Hierarchical Flow Matching，让空间分辨率沿去噪轨迹变化：早期阶段用低分辨率大感受野捕捉全局结构，后期阶段用高分辨率精修细节。
50%待验证在类别条件ImageNet-1K基准上，PixelMoE在256×256分辨率下取得FID 1.47，512×512下取得FID 1.53，且未使用表示对齐和感知损失。
50%待验证与dense版本对比，在等效活跃参数量下，PixelMoE在所有模型规模上都一致优于dense对应方案。
50%待验证稀疏扩展通过条件计算使'总参数量'与'活跃参数量'成为两个独立维度，前者决定模型表达能力上限，后者决定推理成本；PixelMoE借助这一解耦在固定活跃参数量下扩大总容量。
50%待验证PixelMoE的价值在于证明像素空间扩散模型的扩展可以复用LLM社区已积累的MoE工程经验和最佳实践，包括训练基础设施、路由策略、负载均衡方案和并行化实现。
50%待验证PixelMoE的FID成绩与当前领先的像素空间和潜空间生成模型相比具有竞争力。
50%