待验证50% 置信事实精确时间

时空注意力的分解策略将计算复杂度从O((T×H×W)²)降低到O(T×(H×W)²+(H×W)×T²)

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

笔记本从零训练视频生成模型：Loss停滞该如何破局

涉及实体

时空注意力concept

相关事实

待验证滑动窗口注意力由 Beltagy 等人在 Longformer（2020）中提出，将复杂度从 O(n²) 降至 O(n×w)74% 相似待验证分解子域策略可将步数复杂度从O((L/w)²)降低到O(L²/(N·w²))，其中N为子域数目71% 相似已验证自注意力机制使计算复杂度随序列长度呈二次方增长，上下文从1000扩展至4000 token计算量增加16倍69% 相似待验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/889210

API

curl https://kongchang.com/api/v1/knowledge/claims/889210

MCP

get_claim(id=889210)