待验证50% 置信事实精确时间
SPERA设计了分解式的时间与空间注意力,并周期性地穿插全注意力模块以降低计算复杂度
1
来源数
50%
置信度
长期有效
时效性
2026/10/9
首次发现
来源
涉及实体
相关事实
待验证标准自注意力的计算复杂度为序列长度的平方,实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术80% 相似待验证Flash Attention和稀疏注意力等优化技术可将显存复杂度压缩至近似线性77% 相似待验证注意力算子的加速比往往对具体的shape和场景高度敏感,decode阶段访存密集而prefill阶段计算密集76% 相似待验证Linformer 将注意力矩阵低秩近似为 O(n) 复杂度,FlashAttention 通过重排计算顺序降低 GPU 内存带宽占用,Longformer 引入滑动窗口注意力74% 相似待验证SPERA引入了基于勒让德多项式的空间先验,并将其融入注意力机制,用于编码不同头皮电极几何排布之间的关系73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/990523API
curl https://kongchang.com/api/v1/knowledge/claims/990523MCP
get_claim(id=990523)