待验证50% 置信事实精确时间
梯度消失与梯度爆炸问题源于雅可比矩阵沿时间乘积的长期行为。
1
来源数
50%
置信度
长期有效
时效性
2026/11/6
首次发现
来源
涉及实体
相关事实
待验证梯度爆炸的数学本质与链式法则和矩阵连乘的谱范数相关，当雅可比矩阵的最大奇异值持续大于1时，梯度会随层数指数级增长77% 相似待验证反复应用同一组权重容易导致梯度在多次迭代中放大或消失，类似于早期RNN的梯度问题73% 相似待验证在状态转移雅可比矩阵指数衰减的假设下，截断梯度与全上下文梯度之间的误差会随距离上下文边界的增加而指数衰减。73% 相似已验证RNN存在梯度消失/爆炸问题，梯度跨越大量时间步传递时会指数级衰减或膨胀，导致难以学习远距离依赖71% 相似待验证对于有限步长，即使驻点在连续时间梯度流下不稳定，若步长过大可能跳过逃逸方向导致数值发散，若步长过小则逃逸时间可能指数级增长而看似停滞。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1141544API
curl https://kongchang.com/api/v1/knowledge/claims/1141544MCP
get_claim(id=1141544)