待验证50% 置信事实精确时间

Sigmoid函数的导数最大值仅为0.25，经过数十层连乘后梯度会指数级衰减

1

来源数

50%

置信度

长期有效

时效性

2026/8/29

首次发现

来源

CMU 11-785深度学习课程：为什么它被反复推荐

涉及实体

Sigmoidconcept 梯度消失concept

相关事实

已验证在长链路任务中，若每一步约5%的错误率，经过20步后整体成功率可能跌至不足36%63% 相似已验证如果每步准确率为95%，经过20步循环后整体准确率会降至约36%62% 相似待验证Gunasekar等人2017年的研究证明，对于线性模型，梯度下降等价于最小范数插值61% 相似待验证岭回归通过在损失函数中添加L2正则化项将回归系数向零收缩但不置零，而LASSO（L1正则化）会产生稀疏解59% 相似待验证在LLM超低比特量化中，Transformer模型某些特定通道的激活值可能比其他通道大100倍以上，这些离群值会导致极端量化的精度崩溃58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/817113

API

curl https://kongchang.com/api/v1/knowledge/claims/817113

MCP

get_claim(id=817113)