概念Sparse Scaling
稀疏扩展
通过条件计算使模型拥有大量参数但每个输入仅激活一小部分，实现总参数量与推理成本解耦的扩展策略，MoE是其典型实现
时间轴 (近 90 天)
10月14日
稀疏扩展通过条件计算使'总参数量'与'活跃参数量'成为两个独立维度，前者决定模型表达能力上限，后者决定推理成本；PixelMoE借助这一解耦在固定活跃参数量下扩大总容量。
待验证50%
通过条件计算使模型拥有大量参数但每个输入仅激活一小部分，实现总参数量与推理成本解耦的扩展策略，MoE是其典型实现
稀疏扩展通过条件计算使'总参数量'与'活跃参数量'成为两个独立维度，前者决定模型表达能力上限，后者决定推理成本；PixelMoE借助这一解耦在固定活跃参数量下扩大总容量。