概念Adam / Adaptive Moment Estimation
Adam优化器
一种自适应学习率的梯度下降优化算法，结合了动量法和RMSProp的优点，通过估计梯度的一阶矩和二阶矩来自适应调整每个参数的学习率，是深度学习训练中最广泛使用的优化器之一。
时间轴 (近 90 天)
9月14日
训练时Adam优化器会额外存储梯度动量，约为权重的2-3倍，70B模型完整训练内存需求轻易超过400GB
待验证50%
9月12日
训练配置采用batch size为4，Adam优化器，学习率2e-4
待验证50%
9月11日
该项目规划的核心特性包括全局图像对齐、完全融合的前向与反向传播、Adam优化器、自适应控制与致密化，以及稳定灵活的C API
待验证50%
9月5日
Adam优化器于2014年由Kingma和Ba提出，通过维护梯度的一阶矩和二阶矩的指数移动平均实现自适应学习率调整
待验证50%
9月3日
混合精度训练搭配Adam优化器时每个参数约需14字节，700亿参数模型的全参数训练可能需要超过1TB内存
待验证50%