ReLU
ReLU（Rectified Linear Unit，线性整流函数）是深度学习中广泛使用的神经网络激活函数，其数学定义为 f(x) = max(0, x)，即对负值输出零、对正值保持原值不变。ReLU通过引入非线性变换使神经网络能够拟合复杂函数，同时因其计算简单、能有效缓解梯度消失问题而在卷积神经网络等深度模型中得到普遍应用。其稀疏激活特性也有助于提升模型的计算效率。
核心事实
时间轴 (近 90 天)
Kaiming 初始化（He 初始化）令方差正比于输入维度倒数的两倍，专为 ReLU 及其变体设计。
隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
AlexNet首次在大规模深层卷积网络中系统性地使用ReLU替代Sigmoid/Tanh，使训练深层网络变得可行并提升训练速度数倍。
持续接收负输入的ReLU神经元会永久输出0且无法恢复，即'死亡'神经元问题。
ReLU在正输入区域的斜率为1，反向传播时学习信号不衰减。
He初始化针对ReLU及其变体，将方差缩放为Xavier的两倍。
应对梯度消失的常见方案包括使用ReLU及其变体替代sigmoid、批归一化以及残差连接（ResNet核心思想）
用ReLU替换Softmax的尝试（ReLUformer）虽然能训练，但需要额外的归一化技巧才能稳定
当激活函数为ReLU、目标函数为纯粹的球谐函数、在高斯普适性假设下，学生的误差大约按教师误差的平方缩放
样条激活函数在推理时需查表或迭代插值，其计算成本可达ReLU的数倍乃至数十倍，在实时语音识别等延迟敏感场景中须谨慎评估
还有 12 条时间轴事件
全部知识事实 (20)
ReLU激活函数导数恒为1或0，与残差连接ResNet提供的梯度短路通道，是解决梯度消失的两大关键创新
70%已验证ReLU激活函数的数学定义为f(x) = max(0, x)，相比Sigmoid和Tanh能有效缓解梯度消失问题
70%已验证ReLU即max(0,x)，在2010年代凭借计算高效、梯度稳定的优势迅速普及，成为现代深度学习的默认激活函数
65%已验证梯度消失问题可通过更换激活函数（如 ReLU 替代 sigmoid）、使用残差连接或调整网络架构来解决
65%待验证Kaiming 初始化（He 初始化）令方差正比于输入维度倒数的两倍，专为 ReLU 及其变体设计。
50%待验证隐藏层激活函数选择建议：从ReLU开始，若神经元大量死亡则尝试Leaky ReLU；二分类输出用Sigmoid；多分类输出用Softmax；回归输出不用激活函数。
50%待验证ReLU在正输入区域的斜率为1，反向传播时学习信号不衰减。
50%待验证持续接收负输入的ReLU神经元会永久输出0且无法恢复，即'死亡'神经元问题。
50%待验证AlexNet首次在大规模深层卷积网络中系统性地使用ReLU替代Sigmoid/Tanh，使训练深层网络变得可行并提升训练速度数倍。
50%待验证He初始化针对ReLU及其变体，将方差缩放为Xavier的两倍。
50%待验证应对梯度消失的常见方案包括使用ReLU及其变体替代sigmoid、批归一化以及残差连接（ResNet核心思想）
50%待验证用ReLU替换Softmax的尝试（ReLUformer）虽然能训练，但需要额外的归一化技巧才能稳定
50%待验证当激活函数为ReLU、目标函数为纯粹的球谐函数、在高斯普适性假设下，学生的误差大约按教师误差的平方缩放
50%待验证样条激活函数在推理时需查表或迭代插值，其计算成本可达ReLU的数倍乃至数十倍，在实时语音识别等延迟敏感场景中须谨慎评估
50%待验证自建卡牌游戏AI系统的核心是一个全连接动作价值网络，结构为1857→128→64→32→16→1，隐藏层使用ReLU，输出层为线性，约有248,705个可训练参数
50%待验证使用 ReLU 激活函数的全连接网络本质上构造的是一个分段线性函数
50%待验证ReLU 的定义为 f(x) = max(0, x)，即输入为负时输出零，输入为正时原样输出
50%待验证单层 ReLU 网络的最大段数等于 1 加上该层宽度
50%待验证多层网络的最大段数是各层段数相乘的关系，例如结构 3 3 的最大段数为 4×4=16 段
50%待验证相比 Sigmoid 或 Tanh 激活函数，ReLU 的梯度在正半轴恒为 1，有效缓解了深层网络训练中的梯度消失问题，同时计算代价极低
50%