ReLU

ReLU（Rectified Linear Unit，线性整流函数）是深度学习中广泛使用的神经网络激活函数，其数学定义为 f(x) = max(0, x)，即对负值输出零、对正值保持原值不变。ReLU通过引入非线性变换使神经网络能够拟合复杂函数，同时因其计算简单、能有效缓解梯度消失问题而在卷积神经网络等深度模型中得到普遍应用。其稀疏激活特性也有助于提升模型的计算效率。