线性注意力
将标准Transformer中softmax注意力的指数核替换为线性核的简化变体，其前向计算可写成矩阵乘法的闭合形式，允许用经典统计学习工具进行严格的渐近分析，常用于研究上下文学习机制
核心事实
时间轴 (近 90 天)
线性注意力在数学上等价于一个线性递推状态空间模型。
线性注意力将softmax核替换为可分解的相似度函数φ(q)·φ(k)，利用矩阵乘法结合律将O(L²)的序列建模改写为线性复杂度形式。
线性注意力或SSM层能以接近线性的复杂度处理长序列，但在精确召回与复杂推理上往往弱于全注意力。
线性注意力模型（如Mamba、RWKV）在推理时只需维护固定大小的循环状态，而非缓存整个历史键值对，因此内存占用与序列长度无关。
线性注意力的递归状态压缩结构带来恒定显存与线性时间，但所有历史信息需挤进固定大小的记忆，新信息与旧信息冲突时容易发生干扰。
在线性注意力中，利用核函数将softmax注意力分解为可结合形式，使推理计算复杂度从序列长度的平方降为线性。
KronLSTM通过引入克罗内克Delta规则（Kronecker Delta Rule）为关联矩阵记忆提供更新机制，在保持记忆动态稳定的同时提升长上下文性能。
线性注意力（Linear Attention）用可结合的核函数或状态递推改写注意力计算，让历史信息压缩进一个固定大小的状态矩阵中，每步只需更新这个状态，计算复杂度从 O(n²) 降到 O(n)，显存则是常数级。
线性注意力类架构使用固定维度的循环状态累积历史信息，该状态是已读上下文的有损压缩，维度远小于原始 KV 缓存。
不同类型注意力机制（如softmax注意力、线性注意力等）在统计力学意义上属于同一族系，可以用统一框架分析其相结构。
还有 13 条时间轴事件
全部知识事实 (20)
自注意力权重通过Softmax函数归一化，权重总和恒为1
70%已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²
65%已验证Mamba等状态空间模型（SSM）抛弃注意力机制，用循环结构实现线性时间复杂度的序列建模
65%待验证Qwen3 27B将三层线性注意力与一层完整注意力组合成循环结构，比例为3:1
60%待验证线性注意力在数学上等价于一个线性递推状态空间模型。
50%待验证线性注意力将softmax核替换为可分解的相似度函数φ(q)·φ(k)，利用矩阵乘法结合律将O(L²)的序列建模改写为线性复杂度形式。
50%待验证线性注意力或SSM层能以接近线性的复杂度处理长序列，但在精确召回与复杂推理上往往弱于全注意力。
50%待验证线性注意力模型（如Mamba、RWKV）在推理时只需维护固定大小的循环状态，而非缓存整个历史键值对，因此内存占用与序列长度无关。
50%待验证线性注意力的递归状态压缩结构带来恒定显存与线性时间，但所有历史信息需挤进固定大小的记忆，新信息与旧信息冲突时容易发生干扰。
50%待验证KronLSTM通过引入克罗内克Delta规则（Kronecker Delta Rule）为关联矩阵记忆提供更新机制，在保持记忆动态稳定的同时提升长上下文性能。
50%待验证在线性注意力中，利用核函数将softmax注意力分解为可结合形式，使推理计算复杂度从序列长度的平方降为线性。
50%待验证线性注意力（Linear Attention）用可结合的核函数或状态递推改写注意力计算，让历史信息压缩进一个固定大小的状态矩阵中，每步只需更新这个状态，计算复杂度从 O(n²) 降到 O(n)，显存则是常数级。
50%待验证线性注意力类架构使用固定维度的循环状态累积历史信息，该状态是已读上下文的有损压缩，维度远小于原始 KV 缓存。
50%待验证不同类型注意力机制（如softmax注意力、线性注意力等）在统计力学意义上属于同一族系，可以用统一框架分析其相结构。
50%待验证GLM-5.3-Flash 的注意力架构将计算拆为线性注意力（O(n)递归状态，处理近期token）和稀疏注意力（轻量索引器回扫全局上下文，只拉取相关远端片段）两条路径。
50%待验证线性注意力（如Performer、RWKV）通过核函数近似将复杂度压到O(N)，但精确召回能力通常明显弱于全注意力
50%待验证许多线性注意力或稀疏注意力方法在压缩计算的同时会损失对历史信息的精确检索能力
50%待验证门控线性注意力（GLA）通过线性化的注意力机制将计算复杂度从 O(N²) 降至 O(N)
50%待验证Minimax已用线性注意力思路训练出456B参数的MoE，仍需偶尔使用全注意力
50%待验证线性注意力、稀疏注意力和State Space Models（如Mamba）能将计算复杂度降至线性级别，为百万级上下文窗口打开大门
50%