Sigmoid
一种经典的神经网络激活函数，将任意实数映射到(0,1)区间，常用于二分类输出层，但存在梯度消失问题。
核心事实
时间轴 (近 90 天)
Sigmoid函数将输入压缩到0到1之间，最大斜率仅为0.25。
隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。
Xavier初始化根据输入和输出的神经元数量调整权重的方差，适合Sigmoid/Tanh类激活函数。
过大的权重可能导致Sigmoid激活函数饱和，引发梯度消失。
相比 Sigmoid 或 Tanh 激活函数，ReLU 的梯度在正半轴恒为 1，有效缓解了深层网络训练中的梯度消失问题，同时计算代价极低
SigLIP摒弃全局归一化,将每一个图文对视为独立的二元预测,通过sigmoid函数估计图文是否匹配
MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
Sigmoid函数的导数最大值仅为0.25，经过数十层连乘后梯度会指数级衰减
全部知识事实 (10)
ReLU激活函数的数学定义为f(x) = max(0, x)，相比Sigmoid和Tanh能有效缓解梯度消失问题
70%待验证隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
50%待验证Sigmoid函数将输入压缩到0到1之间，最大斜率仅为0.25。
50%待验证使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。
50%待验证Xavier初始化根据输入和输出的神经元数量调整权重的方差，适合Sigmoid/Tanh类激活函数。
50%待验证过大的权重可能导致Sigmoid激活函数饱和，引发梯度消失。
50%待验证相比 Sigmoid 或 Tanh 激活函数，ReLU 的梯度在正半轴恒为 1，有效缓解了深层网络训练中的梯度消失问题，同时计算代价极低
50%待验证SigLIP摒弃全局归一化,将每一个图文对视为独立的二元预测,通过sigmoid函数估计图文是否匹配
50%待验证MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
50%待验证Sigmoid函数的导数最大值仅为0.25，经过数十层连乘后梯度会指数级衰减
50%