容量税

MoE等稀疏模型中随总存储参数量线性增长的成本，包括权重存储、梯度同步和优化器状态更新，即使激活参数量不变这些开销仍随总参数量膨胀。