ILRM
一种新型RNN架构，与PLUG同属novel-rnn-architectures项目，采用调和级数加权机制解决梯度消失问题，在不依赖注意力模块的前提下实现长序列建模能力
时间轴 (近 90 天)
ILRN 最初的 CPU 实现在训练效率上明显慢于 Transformer，作者后来尝试了一个融合 CPU 内核来提升执行速度，同时保持 ILRM 的数学逻辑不变。
ILRN（Inverse Lag Recurrent Network）是由开发者 rickey1990 提出的项目，尝试用逆延迟记忆（ILRM）机制替代 Transformer 的自注意力机制。
ILRM 对当前位置之前的每个输入按距离 k 赋予 1/k 的权重，越近的输入贡献越大，更早的输入以递减权重持续参与计算，最终得到归一化的历史表示。
ILRM 的逆延迟历史计算借助因果 FFT 卷积加速，但循环状态更新仍然是串行的，无法并行化。
ILRN-4-96 由四个独立的 ILRM 块顺序堆叠而成，每个块拥有自己的逆延迟历史、两个门控、循环状态和可学习参数，块之间配有前置/后置 LayerNorm 及残差连接。
一位开发者在Reddit和GitHub上发布了名为novel-rnn-architectures的开源项目，提出PLUG与ILRM两种全新RNN架构
PLUG与ILRM的核心目标是在不依赖注意力模块的前提下解决RNN长序列建模中的梯度消失问题
该项目向循环单元喂入一个确定性的、归一化的逆滞后历史向量P_t，其加权方式由调和数决定，使历史信息衰减速率变为1/k
PLUG和ILRM仅在16-64步延迟上训练，成功外推到4096步，在一比特信息保留任务上达到100%准确率，而基线标准GRU退化到随机猜测水平
在1024步序列上，PLUG和ILRM的初始token平均梯度稳定保持在约10⁻⁴量级，而标准GRU梯度低至约10⁻¹⁴⁵出现数值下溢
全部知识事实 (10)
ILRN 最初的 CPU 实现在训练效率上明显慢于 Transformer，作者后来尝试了一个融合 CPU 内核来提升执行速度，同时保持 ILRM 的数学逻辑不变。
50%待验证ILRN（Inverse Lag Recurrent Network）是由开发者 rickey1990 提出的项目，尝试用逆延迟记忆（ILRM）机制替代 Transformer 的自注意力机制。
50%待验证ILRM 对当前位置之前的每个输入按距离 k 赋予 1/k 的权重，越近的输入贡献越大，更早的输入以递减权重持续参与计算，最终得到归一化的历史表示。
50%待验证ILRM 的逆延迟历史计算借助因果 FFT 卷积加速，但循环状态更新仍然是串行的，无法并行化。
50%待验证ILRN-4-96 由四个独立的 ILRM 块顺序堆叠而成，每个块拥有自己的逆延迟历史、两个门控、循环状态和可学习参数，块之间配有前置/后置 LayerNorm 及残差连接。
50%待验证PLUG与ILRM的核心目标是在不依赖注意力模块的前提下解决RNN长序列建模中的梯度消失问题
50%待验证该项目向循环单元喂入一个确定性的、归一化的逆滞后历史向量P_t，其加权方式由调和数决定，使历史信息衰减速率变为1/k
50%待验证PLUG和ILRM仅在16-64步延迟上训练，成功外推到4096步，在一比特信息保留任务上达到100%准确率，而基线标准GRU退化到随机猜测水平
50%待验证在1024步序列上，PLUG和ILRM的初始token平均梯度稳定保持在约10⁻⁴量级，而标准GRU梯度低至约10⁻¹⁴⁵出现数值下溢
50%待验证一位开发者在Reddit和GitHub上发布了名为novel-rnn-architectures的开源项目，提出PLUG与ILRM两种全新RNN架构
50%