待验证50% 置信事实精确时间

注意力权重大的条目不一定对矩阵乘法后的输出贡献最大，权重与输出贡献是两个不同的量

1

来源数

50%

置信度

长期有效

时效性

2026/10/9

首次发现

来源

重新定义稀疏注意力：MASA用矩阵近似替代"挑大值"

涉及实体

注意力机制concept

相关事实

待验证论文认为将注意力矩阵当作'一袋值'从中挑选最大值是数学上错误的直觉，因为注意力矩阵是参与矩阵乘法的结构化算子78% 相似已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²76% 相似已验证上下文长度与计算量呈近似平方级增长关系，受注意力机制影响73% 相似待验证MLP层的算术强度是B×T，注意力层的算术强度是S×T/(S+T)，生成时注意力层算术强度约等于1且完全不依赖batch size70% 相似待验证标准自注意力的计算量与序列长度呈O(n²)增长，限制了上下文窗口的规模70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/990370

API

curl https://kongchang.com/api/v1/knowledge/claims/990370

MCP

get_claim(id=990370)