残差连接
由何恺明等人于2015年提出的深度神经网络技术，通过在层与层之间增加跳跃连接，保留原始信号，解决了神经网络退化问题，使训练超百层乃至千层的极深网络成为可能。
核心事实
时间轴 (近 90 天)
应对梯度消失的常见方案包括使用ReLU及其变体替代sigmoid、批归一化以及残差连接（ResNet核心思想）
何恺明提出的残差连接（Residual Connection）解决了深度学习层数过多导致的深度丢失或塌陷问题
残差连接公式为 output = F(x) + x，源自 ResNet，为梯度提供高速公路，缓解深层网络梯度消失
去掉残差连接后，纯注意力会随深度双重指数退化
残差连接让信息跨越部分网络层直接传递，用于解决深层网络的信息损失问题
残差连接将每个子模块的输入直接加到其输出上（output = F(x) + x），缓解深层网络的梯度消失问题
2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层的网络成为可能，并成为Transformer架构中的标配组件
2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层网络成为可能
2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层的网络成为可能
在Transformer架构中，注意力层负责信息的路由和组合，而前馈网络层倾向于充当键值记忆体存储事实知识
还有 4 条时间轴事件
全部知识事实 (15)
残差连接源自微软2015年提出的 ResNet，通过将输入直接跳过中间层相加到输出，缓解深层网络的梯度消失问题
75%已验证残差连接最初由 He 等人在2015年的 ResNet 论文中提出，用于解决深度神经网络的梯度消失问题
75%待验证在Transformer架构中，注意力层负责信息的路由和组合，而前馈网络层倾向于充当键值记忆体存储事实知识
70%待验证2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层的网络成为可能
60%待验证2017年Shwartz-Ziv和Tishby的工作表明深度网络训练存在两个阶段：先拟合数据（增加与输入的互信息），再压缩表征（减少与输入互信息同时保持与输出互信息）
60%待验证应对梯度消失的常见方案包括使用ReLU及其变体替代sigmoid、批归一化以及残差连接（ResNet核心思想）
50%待验证何恺明提出的残差连接（Residual Connection）解决了深度学习层数过多导致的深度丢失或塌陷问题
50%待验证残差连接公式为 output = F(x) + x，源自 ResNet，为梯度提供高速公路，缓解深层网络梯度消失
50%待验证去掉残差连接后，纯注意力会随深度双重指数退化
50%待验证残差连接让信息跨越部分网络层直接传递，用于解决深层网络的信息损失问题
50%待验证残差连接将每个子模块的输入直接加到其输出上（output = F(x) + x），缓解深层网络的梯度消失问题
50%待验证2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层的网络成为可能，并成为Transformer架构中的标配组件
50%待验证2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层网络成为可能
50%待验证残差连接（Residual Connection）由何恺明等人在2015年的ResNet论文中提出，用于解决深层网络中的信息损失问题
50%待验证微软研究院何恺明等人于2015年提出残差连接（Residual Connection），使训练超过100层乃至1000层的极深神经网络成为可能
50%