待验证60% 置信事实精确时间

标准自注意力的计算量与序列长度呈O(n²)增长，限制了上下文窗口的规模

2

来源数

60%

置信度

长期有效

时效性

2026/7/6

首次发现

来源

AI周报：顶级编程模型回归、谷歌Flash新检查点与视频生成竞争

bilibili安得广厦千万间6782026/7/3

相关事实

待验证滑动窗口注意力将注意力计算复杂度从O(n²)降至O(n·w)，使长文本显存开销线性化78% 相似已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²78% 相似已验证上下文长度与计算量呈近似平方级增长关系，受注意力机制影响76% 相似待验证标准注意力机制具有O(n²)的显存开销，行数2000时需计算约2000×2000的注意力矩阵75% 相似待验证Informer通过ProbSparse稀疏注意力将自注意力计算复杂度从O(n²)降至O(n log n)75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/112763

API

curl https://kongchang.com/api/v1/knowledge/claims/112763

MCP

get_claim(id=112763)