[控场AI]
概念密集扩展

dense scaling

模型所有参数在每次前向传播中都被使用的扩展方式,总参数量与推理计算量成正比,无法解耦模型容量与计算成本

时间轴 (近 90 天)

10月14日

已有的像素空间模型(如JiT等)采用dense scaling策略,每增加一份模型容量就增加一份推理计算量,导致在固定推理预算下难以通过扩大参数量提升生成质量。

待验证50%
10月14日

与dense版本对比,在等效活跃参数量下,PixelMoE在所有模型规模上都一致优于dense对应方案。

待验证50%

全部知识事实 (2)

来源文章