待验证50% 置信事实精确时间
残差连接（ResNet）、批归一化（Batch Normalization）和ReLU激活函数都是为缓解梯度消失/爆炸问题而发展出的架构创新
1
来源数
50%
置信度
长期有效
时效性
2026/9/7
首次发现
来源
涉及实体
相关事实
已验证梯度消失问题可通过更换激活函数（如 ReLU 替代 sigmoid）、使用残差连接或调整网络架构来解决79% 相似已验证ReLU激活函数导数恒为1或0，与残差连接ResNet提供的梯度短路通道，是解决梯度消失的两大关键创新72% 相似待验证ReAct采用append-only的线性增长模式，Plan-and-Execute模式将规划与执行解耦，从架构层面缓解上下文积累68% 相似待验证ReLU是目前最流行的激活函数，将负值置零、正值不变，计算高效且有效缓解梯度消失65% 相似待验证ReAct更灵活能动态调整策略，Plan-and-Execute在长任务链中更稳定，减少局部错误导致的全局偏离65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/869800API
curl https://kongchang.com/api/v1/knowledge/claims/869800MCP
get_claim(id=869800)