待验证50% 置信事实精确时间

标准注意力的计算量随序列长度平方增长，而低秩瓶颈将变换分解为先压缩到r维再展开的两步

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

自编码器替代注意力：更省算力的掩码语言模型新架构

涉及实体

注意力机制concept 低秩瓶颈concept

相关事实

待验证分辨率翻倍时模型需要处理的注意力计算量往往增长至四倍甚至更高，导致耗时非线性增长79% 相似待验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小79% 相似已验证注意力机制的计算复杂度随上下文窗口长度呈平方级增长，导致推理延迟与成本急剧上升76% 相似待验证Multi-head Latent Attention通过将KV缓存压缩到低维潜在空间中，大幅降低推理时的显存占用和计算开销75% 相似待验证基于注意力机制的偏置方法灵活但计算代价随词表规模线性增长75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/955579

API

curl https://kongchang.com/api/v1/knowledge/claims/955579

MCP

get_claim(id=955579)