待验证50% 置信事实精确时间

作者指出从当前token到历史信息的直接梯度路径以1/(t·ln t)的多项式速率衰减，远慢于传统RNN的指数衰减

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

PLUG与ILRM：用调和级数替代注意力机制解决RNN长序列建模难题

涉及实体

novel-rnn-architecturesproduct

相关事实

待验证RNN面临梯度消失问题，序列越长梯度经过的乘法链越长，数值呈指数级缩小72% 相似待验证RNN存在两大缺陷：无法并行计算导致速度慢，以及长距离依赖信息衰减的健忘问题67% 相似已验证梯度消失是深层神经网络中梯度值在反向传播过程中指数级衰减，导致靠近输入层的参数几乎得不到更新66% 相似待验证RNN（循环神经网络）的核心缺陷在于其串行计算特性，必须按时间步逐一处理序列，导致长距离依赖关系随序列长度指数级衰减65% 相似待验证理论分析表明，在时间步长为T的轨迹上，行为克隆的累积误差以O(T²)的速度增长65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/902245

API

curl https://kongchang.com/api/v1/knowledge/claims/902245

MCP

get_claim(id=902245)