待验证50% 置信事实精确时间
论文《Exact Tail Laws for Nonlinear SGD with Infinite-Variance Gradients》为非线性、恒定步长SGD的末次迭代建立了精确的一阶尾部概率。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证论文证明SGD迭代在中心波动尺度下收敛到稳定OU过程，并利用该极限刻画尾部概率。72% 相似待验证当ε≈1时，分母中的梯度二阶矩项被稀释，自适应缩放几乎不起作用，优化器行为接近纯粹的SGD64% 相似待验证经典随机逼近理论依赖Robbins-Monro条件来保证收敛，但常步长下的SGDM不满足这些条件，参数会在稳态附近持续波动而非收敛到某一点。63% 相似待验证在无限方差 t ∈ (1,2) 情形下，SGD的中心波动尺度为 η^{1/t} 量级，极限为 t-稳定分布。63% 相似待验证Stein恒等式表明，对于在边界上足够快衰减的函数φ，当概率密度p(x)在R^d上足够光滑时，有E_p[∇_x log p(x)·φ(x) + ∇_x·φ(x)] = 0。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1064973API
curl https://kongchang.com/api/v1/knowledge/claims/1064973MCP
get_claim(id=1064973)