一种线性注意力变体架构,使用增量更新规则(delta rule)替代softmax注意力,将序列处理复杂度从O(n²)降至O(n),适用于长上下文高效处理
Qwen3.5采用混合注意力架构,将Gated Delta Net(线性注意力变体)和Gated Attention(常规注意力)混合使用