待验证50% 置信事实精确时间
在NVFP4误差加倍的控制实验中,仅注入到Adam二阶矩估计的噪声表现得像降低了学习率,其成本随训练逐渐消退;注入到更新中的噪声则降低了信噪比,承载了约三分之二的成本,且持续到训练结束。
1
来源数
50%
置信度
长期有效
时效性
2026/11/10
首次发现
来源
涉及实体
相关事实
待验证提高学习率以补偿较小的平均步长未能恢复因量化噪声或NVFP4本身导致的稀有事实学习成本。79% 相似待验证在采样梯度场景下,当学习率η减小时,固定β下的期望增益消失速度快于波动本身,导致动量好处被噪声吞噬。75% 相似待验证物理系统的动作延迟和噪声会进一步降低样本效率,使得原本在仿真中可行的训练周期变得不切实际。73% 相似待验证延迟解耦时如果只复制权重而重置优化器动量状态,Adam会经历bias correction阶段导致数百步训练效率损失,并可能引发训练损失突然跳升73% 相似待验证用能够应用每一次更新的优化器重新运行Quiet-STaR的训练配方,结果模型性能出现发散;高精度优化器需要将学习率降低3到10倍才能获得相同结果,且无法达到更好效果。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1154471API
curl https://kongchang.com/api/v1/knowledge/claims/1154471MCP
get_claim(id=1154471)