待验证50% 置信事实精确时间

ReLU激活函数为f(x)=max(0,x)，计算简单且不存在梯度消失问题，使更深网络训练成为可能

1

来源数

50%

置信度

长期有效

时效性

2026/8/17

首次发现

来源

3D可视化揭秘：LeNet-5如何识别手写数字

相关事实

待验证残差结构让F=0成为默认选项，只要F(x)权重接近零残差块即退化为恒等映射，从而解决SGD难以学习恒等映射的优化困境67% 相似待验证sigmoid激活函数的导数最大值仅为0.25，多层连乘后导致梯度迅速消失65% 相似待验证梯度学习的核心是连续优化，神经网络参数空间是高维实数空间，损失函数近似可微64% 相似待验证反向传播机制要求整个计算图必须是可微分的，且在极深网络中存在梯度消失/爆炸问题64% 相似待验证2010年后ReLU成为主流激活函数选择，其在正区间梯度恒为1，有效缓解梯度消失问题63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/763896

API

curl https://kongchang.com/api/v1/knowledge/claims/763896

MCP

get_claim(id=763896)