待验证50% 置信事实精确时间
标准 softmax 注意力（Vaswani 等，2017）在序列长度 n 上具有 O(n^2) 的时间与显存复杂度。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
Continuum Attention：连续注意力机制挑战Softmax
rss2026/10/14
涉及实体
相关事实
待验证论文推导出在 softmax 检索框架下，维持固定准确率所需的证据得分边际必须以 Ω(√log N) 速度增长，其中 N 是有效干扰项数量而非上下文长度69% 相似已验证自注意力机制使计算复杂度随序列长度呈二次方增长，上下文从1000扩展至4000 token计算量增加16倍68% 相似已验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小67% 相似待验证Min-Max 归一化公式为 (x - min) / (max - min)，将数据线性映射到 [0,1]，但对异常值极其敏感67% 相似待验证时空注意力的分解策略将计算复杂度从O((T×H×W)²)降低到O(T×(H×W)²+(H×W)×T²)65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1037964API
curl https://kongchang.com/api/v1/knowledge/claims/1037964MCP
get_claim(id=1037964)