ILRN
一种用逆延迟记忆机制替代自注意力机制的循环神经网络架构，通过对历史输入赋予1/k衰减权重实现直接历史访问
时间轴 (近 90 天)
ILRN（Inverse Lag Recurrent Network）是由开发者 rickey1990 提出的项目，尝试用逆延迟记忆（ILRM）机制替代 Transformer 的自注意力机制。
ILRN 的循环部分采用双门控设计：访问门控制之前的循环记忆对候选状态的贡献，写入门决定候选状态中有多少内容更新到存储记忆中。
在 CNN/DailyMail 数据集上的下一词预测对比实验中，ILRN 和 Transformer 参数量各约 532K，分别训练 2000 万个下一词目标，在 96 和 256 两种上下文窗口下独立训练。
在 96 token 上下文下，ILRN 的留出测试集 top-1 准确率为 27.17%，Transformer 为 25.83%。
作者本人表示这些是初步的、小规模的实验，训练轮次有限，不能作为 ILRN 普遍优于 Transformer 的证据。
ILRN 最初的 CPU 实现在训练效率上明显慢于 Transformer，作者后来尝试了一个融合 CPU 内核来提升执行速度，同时保持 ILRM 的数学逻辑不变。
作者已将研究 PDF、架构公式、Python 实现、融合内核和验证测试上传至 GitHub，仓库地址为 github.com/rickey1990/ILRN。
全部知识事实 (7)
ILRN（Inverse Lag Recurrent Network）是由开发者 rickey1990 提出的项目，尝试用逆延迟记忆（ILRM）机制替代 Transformer 的自注意力机制。
50%待验证ILRN 的循环部分采用双门控设计：访问门控制之前的循环记忆对候选状态的贡献，写入门决定候选状态中有多少内容更新到存储记忆中。
50%待验证在 CNN/DailyMail 数据集上的下一词预测对比实验中，ILRN 和 Transformer 参数量各约 532K，分别训练 2000 万个下一词目标，在 96 和 256 两种上下文窗口下独立训练。
50%待验证在 96 token 上下文下，ILRN 的留出测试集 top-1 准确率为 27.17%，Transformer 为 25.83%。
50%待验证作者本人表示这些是初步的、小规模的实验，训练轮次有限，不能作为 ILRN 普遍优于 Transformer 的证据。
50%待验证ILRN 最初的 CPU 实现在训练效率上明显慢于 Transformer，作者后来尝试了一个融合 CPU 内核来提升执行速度，同时保持 ILRM 的数学逻辑不变。
50%待验证作者已将研究 PDF、架构公式、Python 实现、融合内核和验证测试上传至 GitHub，仓库地址为 github.com/rickey1990/ILRN。
50%