概念密集扩展
dense scaling
模型所有参数在每次前向传播中都被使用的扩展方式,总参数量与推理计算量成正比,无法解耦模型容量与计算成本
时间轴 (近 90 天)
10月14日
已有的像素空间模型(如JiT等)采用dense scaling策略,每增加一份模型容量就增加一份推理计算量,导致在固定推理预算下难以通过扩大参数量提升生成质量。
待验证50%
10月14日
与dense版本对比,在等效活跃参数量下,PixelMoE在所有模型规模上都一致优于dense对应方案。
待验证50%
模型所有参数在每次前向传播中都被使用的扩展方式,总参数量与推理计算量成正比,无法解耦模型容量与计算成本
已有的像素空间模型(如JiT等)采用dense scaling策略,每增加一份模型容量就增加一份推理计算量,导致在固定推理预算下难以通过扩大参数量提升生成质量。
与dense版本对比,在等效活跃参数量下,PixelMoE在所有模型规模上都一致优于dense对应方案。