待验证50% 置信事实精确时间
Llama 2 使用 AdamW 优化器（beta1 = 0.9，beta2 = 0.95，权重衰减 0.1，梯度裁剪 1.0），并在 2 万亿 token 上预训练。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
涉及实体
相关事实
待验证AdamW的有效步长近似正比于η/(1-β₁)，因此单纯增大β₁相当于隐式放大了有效学习率。72% 相似待验证Adam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题70% 相似待验证使用程序自身的梯度和 Adam 优化器，在 2000 笔随机订单上训练 Handwired 孪生网络，只改价格时，到第 100 步精确学到了 549、949 和每公斤 350，零错误。69% 相似待验证训练后的模型每token负对数似然（NLL）为0.93，而随机初始化的同结构孪生模型为12.6069% 相似待验证AdamW的β₁默认值通常为0.9，控制梯度一阶梯度的指数移动平均窗口。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1049788API
curl https://kongchang.com/api/v1/knowledge/claims/1049788MCP
get_claim(id=1049788)