Unverified50% confidenceFactExact time
Adam于2014年在RMSprop基础上增加了一阶矩（动量）的估计，并引入偏差修正项以解决训练初期估计偏低的问题
1
Sources
50%
Confidence
Long-term
Relevance
7/19/2026
First Seen
Sources
Related Claims
UnverifiedAdam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题83% similarUnverifiedAI在实验设计中采用8:2划分保留20%作为独立测试集，并在80%训练集上采用5折交叉验证以避免数据泄漏64% similarUnverified研究表明在某些开源Benchmark上头部大模型训练语料与评测数据的n-gram重叠率可高达15%~30%63% similarUnverifiedAdaGrad于2011年首次引入自适应学习率，对历史梯度平方累积归一化，但其分母单调递增会导致学习率趋近于零63% similarUnverifiedScale AI在2024年的分析显示，部分模型在MMLU上的分数膨胀可能高达5-10个百分点，因测试集已泄露到训练数据中62% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/559019API
curl https://kongchang.com/api/v1/knowledge/claims/559019MCP
get_claim(id=559019)