Neural ODE
由Chen等人于2018年提出的深度学习模型,将神经网络参数化为连续时间动力系统的导函数,用ODE求解器替代离散残差网络层,在时序建模与轨迹拟合上具有较高灵活性
时间轴 (近 90 天)
当Neural ODE的向量场本身具有刚性时,必须切换至刚性求解器,否则求解器会陷入步长极小、函数评估次数爆炸的困境
Neural ODE通过伴随方法反向计算梯度,无需存储中间激活值,内存复杂度从O(层数)降为O(1)
神经 SDE 相比确定性神经常微分方程(Neural ODE)多出随机项,能够生成多条演化轨迹并天然输出预报集合
伴随方法源自最优控制理论和微分方程数值优化领域,在神经常微分方程训练中用于高效计算梯度,无需存储整条前向轨迹
SINDy与Neural ODE两类方法均需针对具体系统进行训练,不具备原生的零样本迁移能力
Neural ODE在轨迹拟合上灵活性更高,但可解释性相对有限
Neural ODE由陈天琦等人在2018年NeurIPS最佳论文中提出,核心思想是将残差网络的离散层视为连续动力系统的欧拉离散化
全部知识事实 (7)
当Neural ODE的向量场本身具有刚性时,必须切换至刚性求解器,否则求解器会陷入步长极小、函数评估次数爆炸的困境
50%待验证Neural ODE通过伴随方法反向计算梯度,无需存储中间激活值,内存复杂度从O(层数)降为O(1)
50%待验证神经 SDE 相比确定性神经常微分方程(Neural ODE)多出随机项,能够生成多条演化轨迹并天然输出预报集合
50%待验证伴随方法源自最优控制理论和微分方程数值优化领域,在神经常微分方程训练中用于高效计算梯度,无需存储整条前向轨迹
50%待验证SINDy与Neural ODE两类方法均需针对具体系统进行训练,不具备原生的零样本迁移能力
50%待验证Neural ODE在轨迹拟合上灵活性更高,但可解释性相对有限
50%待验证Neural ODE由陈天琦等人在2018年NeurIPS最佳论文中提出,核心思想是将残差网络的离散层视为连续动力系统的欧拉离散化
50%