待验证50% 置信事实精确时间
Adam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题
1
来源数
50%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证Adam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题83% 相似待验证AI在实验设计中采用8:2划分保留20%作为独立测试集，并在80%训练集上采用5折交叉验证以避免数据泄漏64% 相似待验证研究表明在某些开源Benchmark上头部大模型训练语料与评测数据的n-gram重叠率可高达15%~30%63% 相似待验证AdaGrad于2011年首次引入自适应学习率，对历史梯度平方累积归一化，但其分母单调递增会导致学习率趋近于零63% 相似待验证Scale AI在2024年的分析显示，部分模型在MMLU上的分数膨胀可能高达5-10个百分点，因测试集已泄露到训练数据中62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/559019API
curl https://kongchang.com/api/v1/knowledge/claims/559019MCP
get_claim(id=559019)