待验证50% 置信事实精确时间
平方根学习率缩放规则的噪声幅度随batch增大而按1/√k缩小，因此让学习率按√k放大恰好能维持梯度的信噪比不变。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证平方根学习率缩放规则只保住了每样本的一阶漂移量，没有保住多步迭代累积后的真实收敛速度。70% 相似待验证75倍嵌入学习率是一种保持矩阵不绑定、通过放大嵌入层学习率补偿稀疏更新的可行工程手段，但过高学习率可能导致嵌入空间不稳定震荡69% 相似待验证余弦退火学习率调度策略由Loshchilov和Hutter在2017年提出，让学习率按余弦函数从初始值平滑衰减至接近零68% 相似待验证缩放点积将点积除以√d（d为嵌入维度），使点积方差保持在合理范围，让Softmax输出更平滑的概率分布以稳定训练68% 相似待验证在固定learning_rate下，batch_size随环境数线性放大、num_epoch保持不变时，策略在单次迭代中被推向新分布的总位移可能增大，表现为训练早期奖励剧烈震荡甚至坍塌。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1027468API
curl https://kongchang.com/api/v1/knowledge/claims/1027468MCP
get_claim(id=1027468)