[控场AI]
概念双曲正切函数

Tanh

一种神经网络激活函数，将输入映射到(-1, 1)区间，输出以零为中心，比Sigmoid收敛更平滑，但同样存在梯度消失问题。

核心事实

ReLU激活函数的数学定义为f(x) = max(0, x)，相比Sigmoid和Tanh能有效缓解梯度消失问题

已验证70% 置信4 来源

时间轴 (近 90 天)

10月13日

Tanh函数输出范围为-1到1，且同样存在梯度消失问题。

待验证50%
10月12日

Xavier初始化根据输入和输出的神经元数量调整权重的方差，适合Sigmoid/Tanh类激活函数。

待验证50%
9月20日

相比 Sigmoid 或 Tanh 激活函数，ReLU 的梯度在正半轴恒为 1，有效缓解了深层网络训练中的梯度消失问题，同时计算代价极低

待验证50%

全部知识事实 (4)

已验证

ReLU激活函数的数学定义为f(x) = max(0, x)，相比Sigmoid和Tanh能有效缓解梯度消失问题

70%待验证

Tanh函数输出范围为-1到1，且同样存在梯度消失问题。

50%待验证

Xavier初始化根据输入和输出的神经元数量调整权重的方差，适合Sigmoid/Tanh类激活函数。

50%待验证

相比 Sigmoid 或 Tanh 激活函数，ReLU 的梯度在正半轴恒为 1，有效缓解了深层网络训练中的梯度消失问题，同时计算代价极低

50%

来源文章

神经网络激活函数全解析：Sigmoid、Tanh、ReLU、GELU10月13日