反向传播
反向传播（Backpropagation）是训练人工神经网络的核心算法，基于微积分中的链式法则，将网络输出的预测误差从输出层逐层向输入层反向传递，依次计算各层参数（权重和偏置）对误差的梯度，再结合梯度下降等优化方法对参数进行更新，从而最小化损失函数，实现模型的学习与优化。
核心事实
时间轴 (近 90 天)
反向传播与生物大脑的学习方式存在显著差异：大脑中并未发现精确的误差反向传导通路，神经元也无法获取全局误差信息。
反向传播需要一个全局的、明确的目标函数来定义'什么是好'，并要求整个网络的计算图可微。
卷积神经网络（CNN）的关键突破在于将卷积核中的数值作为可学习参数，通过反向传播和大量数据自动优化，从而学到人类难以手工设计的特征提取器。
神经网络由多层节点组成，包括输入层、若干隐藏层和输出层；深度指隐藏层数量多，依赖反向传播算法调整权重。
反向传播和注意力机制是推动机器学习发展的算法突破。
反向传播要求网络具有明确的分层结构和可微的激活函数，这在生物学上难以对应真实的神经元学习机制
使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。
ReLU在正输入区域的斜率为1，反向传播时学习信号不衰减。
标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)
反向传播训练大模型时需保存全局计算图（激活值缓存），显存消耗通常是推理阶段的3-4倍甚至更多
还有 19 条时间轴事件
全部知识事实 (20)
反向传播算法的数学基础是微积分中的链式法则，将复合函数的梯度分解为各层局部梯度的乘积，从输出层逐层向输入层传递误差信号
80%已验证反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及，其数学核心是链式法则
80%已验证反向传播是链式法则在数学上的应用
80%已验证反向传播的核心思想是利用链式法则将输出误差逐层分解，使误差信号从输出层逆向流回每一个权重参数
75%已验证反向传播本质上是一种高效计算梯度的动态规划算法，通过从输出层到输入层逐层传递误差信号并复用中间计算结果来降低梯度计算复杂度
75%已验证反向传播算法的本质是通过链式法则在计算图上高效计算标量损失对每个参数的偏导数
65%待验证反向传播（Backpropagation）本质上是链式法则的系统化应用，通过从输出层向输入层逐层传递误差信号来高效计算每个参数对损失函数的偏导数
60%待验证反向传播与生物大脑的学习方式存在显著差异：大脑中并未发现精确的误差反向传导通路，神经元也无法获取全局误差信息。
50%待验证反向传播需要一个全局的、明确的目标函数来定义'什么是好'，并要求整个网络的计算图可微。
50%待验证卷积神经网络（CNN）的关键突破在于将卷积核中的数值作为可学习参数，通过反向传播和大量数据自动优化，从而学到人类难以手工设计的特征提取器。
50%待验证神经网络由多层节点组成，包括输入层、若干隐藏层和输出层；深度指隐藏层数量多，依赖反向传播算法调整权重。
50%待验证反向传播和注意力机制是推动机器学习发展的算法突破。
50%待验证反向传播要求网络具有明确的分层结构和可微的激活函数，这在生物学上难以对应真实的神经元学习机制
50%待验证ReLU在正输入区域的斜率为1，反向传播时学习信号不衰减。
50%待验证使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。
50%待验证标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)
50%待验证反向传播是现代深度学习训练的基石，几乎所有大语言模型的训练都建立在梯度下降框架之上
50%待验证反向传播训练大模型时需保存全局计算图（激活值缓存），显存消耗通常是推理阶段的3-4倍甚至更多
50%待验证目前学界共识是无反向传播方法在大规模语言模型任务上仍难以匹敌反向传播的收敛效率和最终性能
50%待验证反向传播需要全局的梯度传递，层与层之间存在强耦合，使并行化与分布式训练在工程上更为复杂
50%