模型
PLUG
一种新型RNN架构，通过调和级数（harmonic numbers）驱动的多项式衰减替代传统指数衰减，解决长序列建模中的梯度消失问题，无需注意力机制，支持FFT加速计算
时间轴 (近 90 天)
9月11日
一位开发者在Reddit和GitHub上发布了名为novel-rnn-architectures的开源项目，提出PLUG与ILRM两种全新RNN架构
待验证50%
9月11日
PLUG与ILRM的核心目标是在不依赖注意力模块的前提下解决RNN长序列建模中的梯度消失问题
待验证50%
9月11日
该项目向循环单元喂入一个确定性的、归一化的逆滞后历史向量P_t，其加权方式由调和数决定，使历史信息衰减速率变为1/k
待验证50%
9月11日
PLUG和ILRM仅在16-64步延迟上训练，成功外推到4096步，在一比特信息保留任务上达到100%准确率，而基线标准GRU退化到随机猜测水平
待验证50%
9月11日
在1024步序列上，PLUG和ILRM的初始token平均梯度稳定保持在约10⁻⁴量级，而标准GRU梯度低至约10⁻¹⁴⁵出现数值下溢
待验证50%
全部知识事实 (5)
待验证
PLUG与ILRM的核心目标是在不依赖注意力模块的前提下解决RNN长序列建模中的梯度消失问题
50%待验证该项目向循环单元喂入一个确定性的、归一化的逆滞后历史向量P_t，其加权方式由调和数决定，使历史信息衰减速率变为1/k
50%待验证PLUG和ILRM仅在16-64步延迟上训练，成功外推到4096步，在一比特信息保留任务上达到100%准确率，而基线标准GRU退化到随机猜测水平
50%待验证在1024步序列上，PLUG和ILRM的初始token平均梯度稳定保持在约10⁻⁴量级，而标准GRU梯度低至约10⁻¹⁴⁵出现数值下溢
50%待验证一位开发者在Reddit和GitHub上发布了名为novel-rnn-architectures的开源项目，提出PLUG与ILRM两种全新RNN架构
50%