概念activated parameters
激活参数量
指模型在单次前向传播中实际参与计算的参数量，与总参数量分离，决定单token的计算成本。
时间轴 (近 90 天)
10月13日
评估类似reViT的架构时，必须区分总参数量、激活参数量与推理FLOPs三个指标，否则容易得出误导性结论。
待验证50%
指模型在单次前向传播中实际参与计算的参数量，与总参数量分离，决定单token的计算成本。
评估类似reViT的架构时，必须区分总参数量、激活参数量与推理FLOPs三个指标，否则容易得出误导性结论。