Adam
Adam（Adaptive Moment Estimation）是一种用于深度学习模型训练的自适应学习率优化算法，由Diederik Kingma和Jimmy Ba提出。该算法结合了动量法（Momentum）与均方根传播（RMSProp）的思想，通过同时估计梯度的一阶矩（均值）和二阶矩（方差）来为每个参数自动调整学习率。Adam具有计算高效、超参数调整需求少、收敛速度快等特点，被广泛应用于神经网络训练任务中。
Timeline (last 90 days)
作者指出Adam中的偏差校正项可以在分子和分母中被省略，因为其影响在大约1000到2000个训练步之后就变得可以忽略不计
Adam在训练初期由于二阶矩估计尚未稳定，自适应学习率可能出现剧烈波动，导致模型过早收敛到不理想的奇异策略区域
当ε≈0时，二阶矩估计完全主导，优化器恢复为标准的Adam
在标准Adam实现中，ε通常是一个极小的常数（如1e-8），仅用于防止分母为零
在Symphony-S2项目的工作中，通过将ε从约等于1逐渐减小到约等于0，配合β₂的调控，优化器可以从SGD平滑地过渡到Adam
Adam优化器因其自适应学习率的特性成为最常用的默认选择
Adam优化器是当前深度学习中最常用的优化器之一
使用Adam优化器时，每参数需要16字节状态信息（FP32参数4字节+FP32梯度4字节+一阶动量4字节+二阶动量4字节），15亿参数模型每个GPU至少需约24GB状态信息
一个15亿参数的模型使用Adam优化器时每个GPU至少需要约24GB的状态信息
延迟解耦时如果只复制权重而重置优化器动量状态，Adam会经历bias correction阶段导致数百步训练效率损失，并可能引发训练损失突然跳升
3 more timeline events
All Facts (14)
Adam（Adaptive Moment Estimation）是深度学习中使用最广泛的优化器之一
85%Unverified作者指出Adam中的偏差校正项可以在分子和分母中被省略，因为其影响在大约1000到2000个训练步之后就变得可以忽略不计
50%Unverified在Symphony-S2项目的工作中，通过将ε从约等于1逐渐减小到约等于0，配合β₂的调控，优化器可以从SGD平滑地过渡到Adam
50%Unverified在标准Adam实现中，ε通常是一个极小的常数（如1e-8），仅用于防止分母为零
50%Unverified当ε≈0时，二阶矩估计完全主导，优化器恢复为标准的Adam
50%UnverifiedAdam在训练初期由于二阶矩估计尚未稳定，自适应学习率可能出现剧烈波动，导致模型过早收敛到不理想的奇异策略区域
50%UnverifiedAdam优化器因其自适应学习率的特性成为最常用的默认选择
50%UnverifiedAdam优化器是当前深度学习中最常用的优化器之一
50%Unverified使用Adam优化器时，每参数需要16字节状态信息（FP32参数4字节+FP32梯度4字节+一阶动量4字节+二阶动量4字节），15亿参数模型每个GPU至少需约24GB状态信息
50%Unverified一个15亿参数的模型使用Adam优化器时每个GPU至少需要约24GB的状态信息
50%Unverified延迟解耦时如果只复制权重而重置优化器动量状态，Adam会经历bias correction阶段导致数百步训练效率损失，并可能引发训练损失突然跳升
50%UnverifiedAdamW修正了Adam中权重衰减与L2正则化混淆的问题，将权重衰减从梯度更新中解耦，已成为训练Transformer的事实标准优化器
50%UnverifiedAdam结合了动量法与RMSprop的自适应学习率，对每个参数独立维护一阶和二阶梯度的滑动平均
50%Unverified梯度下降衍生出批量梯度下降、随机梯度下降和小批量梯度下降三种主要变体，Adam优化器是在动量与自适应学习率基础上的综合改进
50%