反向传播

反向传播算法的数学基础是微积分中的链式法则，将复合函数的梯度分解为各层局部梯度的乘积，从输出层逐层向输入层传递误差信号

反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及，其数学核心是链式法则

反向传播是链式法则在数学上的应用

反向传播的核心思想是利用链式法则将输出误差逐层分解，使误差信号从输出层逆向流回每一个权重参数

反向传播本质上是一种高效计算梯度的动态规划算法，通过从输出层到输入层逐层传递误差信号并复用中间计算结果来降低梯度计算复杂度

反向传播算法的本质是通过链式法则在计算图上高效计算标量损失对每个参数的偏导数

反向传播在生物大脑中几乎不可能存在，因为它要求前向和反向路径使用对称权重（权重传输问题），而真实大脑无已知机制支持

反向传播（Backpropagation）本质上是链式法则的系统化应用，通过从输出层向输入层逐层传递误差信号来高效计算每个参数对损失函数的偏导数

VIDRAFT在NPU上实现的反向传播是标准反向模式梯度计算，不是无梯度替代方案，但技术机制未公开。

反向传播的硬件瓶颈不在算力，而在访存和精度；必须保留每层激活值直到梯度回传完成，且通常要求FP32精度的梯度累积缓冲区。

不恰当的权重初始化会导致信号在前向传播中逐层衰减或爆炸，梯度在反向传播中消失或发散。

反向传播中梯度值往往极小，低精度下容易出现下溢或被舍入噪声淹没，需要损失缩放、FP32主权重副本或随机舍入等技巧来维持数值稳定性。

推理专用NPU通常被认为只能做前向计算，因为其软件栈缺少训练所需的计算图、梯度同步和优化器状态。这是行业默认结论。

反向传播需要一个全局的、明确的目标函数来定义'什么是好'，并要求整个网络的计算图可微。

反向传播与生物大脑的学习方式存在显著差异：大脑中并未发现精确的误差反向传导通路，神经元也无法获取全局误差信息。

卷积神经网络（CNN）的关键突破在于将卷积核中的数值作为可学习参数，通过反向传播和大量数据自动优化，从而学到人类难以手工设计的特征提取器。

神经网络由多层节点组成，包括输入层、若干隐藏层和输出层；深度指隐藏层数量多，依赖反向传播算法调整权重。

反向传播和注意力机制是推动机器学习发展的算法突破。

反向传播要求网络具有明确的分层结构和可微的激活函数，这在生物学上难以对应真实的神经元学习机制

使用Sigmoid激活函数的深层网络容易遭遇梯度消失问题，导致早期层难以学习。