待验证50% 置信事实精确时间
Continuum Attention 保留了与标准注意力相同的二次序列复杂度，并非效率优化方案，而是理论范式的探索。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
Continuum Attention：连续注意力机制挑战Softmax
rss2026/10/14
涉及实体
相关事实
已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²76% 相似待验证混合架构（线性注意力 + 标准注意力）相比纯全注意力在长上下文任务中效率更高，但在某些需要精确全局依赖的推理任务中线性注意力可能略逊于标准注意力76% 相似待验证学术界已有多项研究探索线性注意力、无Softmax注意力以及核方法近似，试图用线性复杂度替代标准注意力的二次复杂度76% 相似待验证自注意力使任意两个位置之间的信息交互只需一步计算，但显存占用随序列长度平方增长73% 相似待验证Continuum Attention 由于相关性密度采用指数形式，积分运算可归结为指数矩的闭式表达式，梯度可从至多二阶矩中解析求出。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1037965API
curl https://kongchang.com/api/v1/knowledge/claims/1037965MCP
get_claim(id=1037965)