自动微分
现代深度学习框架的核心技术，通过在前向传播时构建计算图，在反向传播时自动应用链式法则计算各参数的偏导数，使得梯度计算对用户透明。
Core Facts
Timeline (last 90 days)
NumPy无法原生支持GPU并行计算和自动微分
自动微分基于链式法则，通过计算图追踪每个运算的导数，能以机器精度高效计算任意阶导数
PINNs通过自动微分计算网络输出对输入的各阶导数，能在几乎没有标注数据的情况下求解正问题和反问题
梯度累加在自动微分中至关重要:当一个变量通过多个计算路径影响损失函数时,来自各路径的梯度必须相加
PyTorch的autograd模块基于自动微分技术实现
CMU 11-785课程要求学生使用PyTorch从零实现各类网络组件，甚至包括手动实现自动微分
自动微分通过在前向计算过程中记录每一步操作及其局部导数规则构建计算树，反向传播时沿计算树应用链式法则计算梯度
自动微分不同于符号微分和数值微分，利用链式法则将复合函数导数分解为基本运算导数组合，分为前向模式和反向模式
自动微分通过在运行时记录所有张量运算构建计算图，然后利用反向模式微分自动计算任意复杂函数的精确梯度
PyTorch、TensorFlow 内置的自动微分系统本质上是在计算图上自动执行链式求导过程
2 more timeline events
All Facts (12)
自动微分通过在运行时记录所有张量运算构建计算图，然后利用反向模式微分自动计算任意复杂函数的精确梯度
65%VerifiedPyTorch 的 Autograd 引擎在张量运算时即时构建有向无环图（DAG），记录运算顺序以便反向传播计算梯度
65%UnverifiedNumPy无法原生支持GPU并行计算和自动微分
50%UnverifiedPINNs通过自动微分计算网络输出对输入的各阶导数，能在几乎没有标注数据的情况下求解正问题和反问题
50%Unverified自动微分基于链式法则，通过计算图追踪每个运算的导数，能以机器精度高效计算任意阶导数
50%Unverified梯度累加在自动微分中至关重要:当一个变量通过多个计算路径影响损失函数时,来自各路径的梯度必须相加
50%UnverifiedPyTorch的autograd模块基于自动微分技术实现
50%UnverifiedCMU 11-785课程要求学生使用PyTorch从零实现各类网络组件，甚至包括手动实现自动微分
50%Unverified自动微分通过在前向计算过程中记录每一步操作及其局部导数规则构建计算树，反向传播时沿计算树应用链式法则计算梯度
50%Unverified自动微分不同于符号微分和数值微分，利用链式法则将复合函数导数分解为基本运算导数组合，分为前向模式和反向模式
50%UnverifiedPyTorch、TensorFlow 内置的自动微分系统本质上是在计算图上自动执行链式求导过程
50%UnverifiedTensorFlow、PyTorch等框架中的自动微分系统本质上是可微分编程的工程实现
50%