模型
Longformer
由Allen AI研究院提出的长文档处理Transformer模型，采用滑动窗口局部注意力与全局注意力相结合的稀疏注意力机制，将注意力计算复杂度从O(n²)降至O(n)，是长文本理解领域的代表性基础工作
时间轴 (近 90 天)
10月10日
Longformer和BigBird采用固定的局部窗口加全局token稀疏模式，复杂度降至O(N)但牺牲了任意位置之间的直接连接
待验证50%
9月6日
Longformer使用固定的滑动窗口加全局token模式的稀疏注意力
待验证50%