概念GLA / Gated Linear Attention
门控线性注意力
一种线性化注意力机制，将传统softmax注意力替换为可递推线性形式，计算复杂度从O(N²)降至O(N)，并通过遗忘门机制保留选择性信息建模能力
时间轴 (近 90 天)
10月4日
GTR-Depth 使用与前作相同的主干网络，包含12个门控线性注意力块（gated linear attention blocks）
待验证50%
10月4日
门控线性注意力（GLA）通过线性化的注意力机制将计算复杂度从 O(N²) 降至 O(N)
待验证50%
10月4日
门控线性注意力将标准注意力中的 softmax(QKᵀ)V 运算替换为可递推的线性形式，门控部分通常体现为对隐藏状态引入遗忘门
待验证50%