Sigmoid
一种经典的神经网络激活函数，将任意实数映射到(0,1)区间，常用于二分类输出层，但存在梯度消失问题。
核心事实
时间轴 (近 90 天)
MBCF 用 Sigmoid 而非 Softmax 生成模态权重，以避免模态间的零和竞争。
Sigmoid函数定义为 σ(z) = 1 / (1 + e^{-z})，其导数具有简洁形式 σ'(z) = σ(z)(1 - σ(z))。
网络采用2个输入节点、3个隐藏节点、1个输出节点的结构，激活函数为Sigmoid，损失函数为均方误差（MSE）。
Sigmoid在接近0或1时梯度趋于饱和，会导致优化后期更新缓慢，是实践中需要留意的数值问题。
松弛后的背包问题是线性规划，本身是凸的、有全局最优；但一旦通过sigmoid等非线性参数化改写变量，或加入非凸的正则项，优化景观就不再是凸的，梯度下降可能停在局部最优。
使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。
Sigmoid函数将输入压缩到0到1之间，最大斜率仅为0.25。
隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
过大的权重可能导致Sigmoid激活函数饱和，引发梯度消失。
Xavier初始化根据输入和输出的神经元数量调整权重的方差，适合Sigmoid/Tanh类激活函数。
还有 4 条时间轴事件
全部知识事实 (15)
ReLU激活函数的数学定义为f(x) = max(0, x)，相比Sigmoid和Tanh能有效缓解梯度消失问题
70%待验证MBCF 用 Sigmoid 而非 Softmax 生成模态权重，以避免模态间的零和竞争。
50%待验证Sigmoid函数定义为 σ(z) = 1 / (1 + e^{-z})，其导数具有简洁形式 σ'(z) = σ(z)(1 - σ(z))。
50%待验证网络采用2个输入节点、3个隐藏节点、1个输出节点的结构，激活函数为Sigmoid，损失函数为均方误差（MSE）。
50%待验证松弛后的背包问题是线性规划，本身是凸的、有全局最优；但一旦通过sigmoid等非线性参数化改写变量，或加入非凸的正则项，优化景观就不再是凸的，梯度下降可能停在局部最优。
50%待验证Sigmoid在接近0或1时梯度趋于饱和，会导致优化后期更新缓慢，是实践中需要留意的数值问题。
50%待验证Sigmoid函数将输入压缩到0到1之间，最大斜率仅为0.25。
50%待验证使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。
50%待验证隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
50%待验证过大的权重可能导致Sigmoid激活函数饱和，引发梯度消失。
50%待验证Xavier初始化根据输入和输出的神经元数量调整权重的方差，适合Sigmoid/Tanh类激活函数。
50%待验证相比 Sigmoid 或 Tanh 激活函数，ReLU 的梯度在正半轴恒为 1，有效缓解了深层网络训练中的梯度消失问题，同时计算代价极低
50%待验证SigLIP摒弃全局归一化,将每一个图文对视为独立的二元预测,通过sigmoid函数估计图文是否匹配
50%待验证MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
50%待验证Sigmoid函数的导数最大值仅为0.25，经过数十层连乘后梯度会指数级衰减
50%