KronLSTM

KronLSTM通过引入克罗内克Delta规则（Kronecker Delta Rule）为关联矩阵记忆提供更新机制，在保持记忆动态稳定的同时提升长上下文性能。

KronLSTM的核心洞察是：每次修正只沿矩阵的单一方向进行，能将干扰降到最低。

论文指出，克罗内克Delta规则的秩一约束带来干扰减少以及记忆动态的可分析性。

在KronLSTM中，记忆矩阵的演化可被描述为马尔可夫链，并收敛到稳态分布。

KronLSTM在整个输入序列上，记忆矩阵的期望范数保持一致有界，因此无需额外的归一化或稳定化机制就能维持记忆状态稳定。

KronLSTM与现有线性注意力架构相比具有竞争力，且经常超越包括（Gated）DeltaNet家族在内的模型，尤其在长上下文基准上表现突出。

KronLSTM在取得实验结果的同时并未引入复杂的稳定化组件，降低了工程实现负担。

KronLSTM的开源代码和模型已发布在GitHub与Hugging Face上。

KronLSTM通过在整个序列上反复施加低秩修正来累积信息，从而在稳定性与容量之间取得平衡。