ResNet

ResNet（残差网络）由微软研究院何恺明团队于2015年提出，通过引入残差连接解决了深层网络训练中的梯度消失问题

残差连接源自微软2015年提出的 ResNet，通过将输入直接跳过中间层相加到输出，缓解深层网络的梯度消失问题

残差连接最初由 He 等人在2015年的 ResNet 论文中提出，用于解决深度神经网络的梯度消失问题

ReLU激活函数导数恒为1或0，与残差连接ResNet提供的梯度短路通道，是解决梯度消失的两大关键创新

农业场景下的图像识别主要基于深度学习中的卷积神经网络（CNN）及其变体，如ResNet、EfficientNet、Vision Transformer等模型架构

混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型

梯度消失问题可通过更换激活函数（如 ReLU 替代 sigmoid）、使用残差连接或调整网络架构来解决

宠物品种识别可使用卷积神经网络（CNN）模型如ResNet、EfficientNet实现

2015年何恺明等人提出的ResNet引入了残差连接（Skip Connection），使训练上百层甚至上千层的网络成为可能

CLIP包含两个并行编码器：文本编码器采用基于Transformer的架构（类似GPT-2的12层Transformer），视觉编码器有基于ResNet和基于ViT两种变体

CNN及其后续变体（如ResNet、YOLO、U-Net）构成了现代计算机视觉的骨架。

应对梯度消失的常见方案包括使用ReLU及其变体替代sigmoid、批归一化以及残差连接（ResNet核心思想）

一位开发者将Stockfish的价值函数蒸馏到一个ResNet/ViT混合神经网络中

几乎所有主流视觉骨干网络（ResNet、EfficientNet、ViT等）都在ImageNet上进行过预训练

残差连接公式为 output = F(x) + x，源自 ResNet，为梯度提供高速公路，缓解深层网络梯度消失

在大语言模型中线性层默认不带bias（通过bias=False关闭），而传统计算机视觉模型如ResNet通常保留bias

2.5D方法将相邻多张切片堆叠成类似RGB三通道的输入，最常见实现是取目标切片及其前后各一张相邻切片放入RGB三通道，使预训练2D网络可直接复用

放射科AI主要依赖卷积神经网络技术，使用ResNet、U-Net等架构进行医学影像识别

残差连接（ResNet）、批归一化（Batch Normalization）和ReLU激活函数都是为缓解梯度消失/爆炸问题而发展出的架构创新

残差连接由何恺明在2015年ResNet中首次引入深度学习