待验证50% 置信事实精确时间

残差连接将每个子模块的输入直接加到其输出上（output = F(x) + x），缓解深层网络的梯度消失问题

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

从零构建GPT：用PyTorch亲手打造你的语言模型

涉及实体

残差连接concept

相关事实

待验证跳跃连接为梯度提供从解码器直接回流到编码器浅层的捷径，缓解梯度消失问题72% 相似已验证梯度消失问题可通过更换激活函数（如 ReLU 替代 sigmoid）、使用残差连接或调整网络架构来解决67% 相似已验证ReLU激活函数导数恒为1或0，与残差连接ResNet提供的梯度短路通道，是解决梯度消失的两大关键创新64% 相似待验证尾调用解释器的优势在于分布式的分支预测（每个指令处理函数有自己的跳转点）和避免栈增长（通过尾调用优化复用栈帧）62% 相似待验证工作流节点之间存在上下游依赖关系，即某个节点的输出是另一个节点的输入，删除节点可能破坏流程连贯性61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/904255

API

curl https://kongchang.com/api/v1/knowledge/claims/904255

MCP

get_claim(id=904255)