模型
BigBird
Google提出的基于稀疏注意力机制的Transformer模型，结合随机注意力、局部窗口注意力和全局注意力三种方式，将计算复杂度降至O(n)，适用于长序列文本处理任务
时间轴 (近 90 天)
9月6日
BigBird采用随机注意力加窗口注意力的混合稀疏策略
待验证70%
8月31日
BigBird在理论上证明了稀疏注意力可以是图灵完备的
待验证50%
Google提出的基于稀疏注意力机制的Transformer模型，结合随机注意力、局部窗口注意力和全局注意力三种方式，将计算复杂度降至O(n)，适用于长序列文本处理任务
BigBird采用随机注意力加窗口注意力的混合稀疏策略
BigBird在理论上证明了稀疏注意力可以是图灵完备的