待验证50% 置信事实精确时间
线性化注意力用核函数 φ(q)^T φ(k) 替代 softmax 中的 exp(q^T k)，将整体复杂度从 O(n²d) 降至 O(nd²)
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
已验证Self-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题76% 相似待验证门控线性注意力（GLA）通过线性化的注意力机制将计算复杂度从 O(N²) 降至 O(N)75% 相似已验证标准自注意力的计算复杂度为O(n²)，SSA通过让每个Token只关注最相关子集降低复杂度，理论上可压缩至O(n·log n)甚至O(n)级别74% 相似待验证线性注意力（如Performer、RWKV）通过核函数近似将复杂度压到O(N)，但精确召回能力通常明显弱于全注意力74% 相似已验证滑动窗口注意力将注意力计算复杂度从O(n²)降至O(n·w)，使长文本显存开销线性化73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1002302API
curl https://kongchang.com/api/v1/knowledge/claims/1002302MCP
get_claim(id=1002302)