待验证50% 置信事实精确时间

当序列长度n从2K增长到128K时，注意力计算量暴增约4000倍

1

来源数

50%

置信度

长期有效

时效性

2026/10/9

首次发现

来源

重新定义稀疏注意力：MASA用矩阵近似替代"挑大值"

涉及实体

注意力机制concept

相关事实

待验证现代大模型上下文窗口已从早期4K Token扩展到128K甚至更长，注意力机制计算量随上下文长度呈平方级增长80% 相似待验证从1.0mp到2.5mp的分辨率提升，其时间成本增长通常远超2.5倍，因为自注意力计算复杂度与token数量的平方成正比79% 相似待验证自注意力机制的计算复杂度和内存占用均为O(n²)，输入从1K增加到10K tokens时计算量增加约100倍79% 相似待验证当上下文从4K token扩展到128K token时（32倍），理论计算量增长约1024倍74% 相似待验证将上下文从128K扩展到1M，理论计算量会增加约60倍72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/990366

API

curl https://kongchang.com/api/v1/knowledge/claims/990366

MCP

get_claim(id=990366)