待验证50% 置信事实精确时间

稀疏注意力通过只让每个token关注序列中的子集，将计算复杂度降至接近线性

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

高通CEO放话：2028年手机或将常驻千亿参数AI大模型

涉及实体

稀疏注意力concept

相关事实

已验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小72% 相似待验证在因果图中将若干变量打包成聚类节点可以缩小图的规模、降低识别算法的复杂度71% 相似待验证图简化能降低计算复杂度，但需要在计算效率与仿真保真度之间做出权衡71% 相似待验证连续表示到离散token的解码是易出错的环节，嵌入空间微小偏差可能导致解码错误，量化误差在序列增长时放大71% 相似待验证稀疏注意力将每个query只与k个key交互（k远小于n），将复杂度降至O(nk)71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/995672

API

curl https://kongchang.com/api/v1/knowledge/claims/995672

MCP

get_claim(id=995672)