待验证50% 置信事实精确时间
标准Attention的显存消耗随序列长度平方增长，Flash Attention将其压缩到线性增长
1
来源数
50%
置信度
长期有效
时效性
2026/7/6
首次发现
来源
AMD显卡跑本地大模型：卸载Ollama换LM Studio，速度翻7倍
bilibili人工智能打老虎2026/7/2
相关事实
已验证上下文长度与计算量呈近似平方级增长关系，受注意力机制影响85% 相似待验证Flash Attention和稀疏注意力等优化技术可将显存复杂度压缩至近似线性78% 相似已验证FlashAttention通过重新设计注意力计算的内存访问模式，将显存占用从与序列长度平方成正比降低为线性关系78% 相似待验证Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应78% 相似待验证标准的Scaled Dot-Product Attention随着序列长度N增加，每个位置能分配到的平均注意力权重以1/N的速率稀释78% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/113446API
curl https://kongchang.com/api/v1/knowledge/claims/113446MCP
get_claim(id=113446)