Unverified60% confidenceFactExact time
标准自注意力的计算量与序列长度呈O(n²)增长，限制了上下文窗口的规模
2
Sources
60%
Confidence
Long-term
Relevance
7/6/2026
First Seen
Sources
AI周报：顶级编程模型回归、谷歌Flash新检查点与视频生成竞争
bilibili安得广厦千万间6787/3/2026
Related Claims
Unverified滑动窗口注意力将注意力计算复杂度从O(n²)降至O(n·w)，使长文本显存开销线性化78% similarVerified自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²78% similarVerified上下文长度与计算量呈近似平方级增长关系，受注意力机制影响76% similarUnverified标准注意力机制具有O(n²)的显存开销，行数2000时需计算约2000×2000的注意力矩阵75% similarUnverifiedInformer通过ProbSparse稀疏注意力将自注意力计算复杂度从O(n²)降至O(n log n)75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/112763API
curl https://kongchang.com/api/v1/knowledge/claims/112763MCP
get_claim(id=112763)