[控场AI]
概念Backpropagation Through Time / 时间反向传播

BPTT

训练循环神经网络的标准算法,通过沿时间轴展开计算图来计算梯度,序列越长梯度消失或爆炸风险越高

时间轴 (近 90 天)

11月6日

标准BPTT的计算图和内存开销随序列长度线性增长。

待验证50%
10月27日

沿时间截断反向传播(BPTT)中序列越长,梯度在时间维度上的连乘越容易导致爆炸或消失,而独立窗口截断了这种长程依赖,反而提升了跨用户场景下的鲁棒性。

待验证50%
10月9日

基于循环(recurrent)的模型在通过时间反向传播(BPTT)训练时容易出现隐藏状态坍缩和梯度不稳定的问题

待验证50%

全部知识事实 (3)

来源文章