待验证50% 置信事实精确时间
DeltaNet属于线性注意力机制家族,旨在将注意力计算复杂度从O(n²)降低至O(n)
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
已验证自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)67% 相似已验证Informer通过ProbSparse稀疏注意力将自注意力计算复杂度从O(n²)降至O(n log n)65% 相似待验证滑动窗口注意力（SWA）由 Mistral AI 广泛采用，将注意力复杂度从 O(N²) 降至 O(N×W)64% 相似已验证标准自注意力的计算复杂度为O(n²)，SSA通过让每个Token只关注最相关子集降低复杂度，理论上可压缩至O(n·log n)甚至O(n)级别64% 相似待验证Kimi K3采用Kimi Delta Attention混合线性注意力机制，通过核函数近似将注意力计算复杂度从O(N²)降到O(N)64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/866945API
curl https://kongchang.com/api/v1/knowledge/claims/866945MCP
get_claim(id=866945)