AdamW 为每个可训练参数维护一阶矩和二阶矩两份指数移动平均状态，通常以 fp32 存储，在混合精度训练中优化器状态常比模型权重和激活更占显存。