DeltaNet
一种线性注意力变体架构，使用增量更新规则（delta rule）替代softmax注意力，将序列处理复杂度从O(n²)降至O(n)，适用于长上下文高效处理
核心事实
时间轴 (近 90 天)
Gated DeltaNet从DeltaNet出发加入门控机制，动态决定何时保留历史信息、何时覆盖旧状态，在需要精确回忆的任务上表现更稳定。
Qwen3.8 Flash Next模型共48层，由「3个门控DeltaNet层+1个稀疏注入」重复12次构成，实际包含约24.5万个专家实例，仅在12层保留传统注意力缓存
DeltaNet是线性注意力的变体，用增量更新规则替代softmax注意力，将序列处理复杂度从O(n²)降至O(n)
DeltaNet的增量更新机制使显存占用不随序列长度增长，而是保持常数大小，因为它维护固定大小的隐状态而非完整KV Cache
DeltaNet属于线性注意力机制家族,旨在将注意力计算复杂度从O(n²)降低至O(n)
全部知识事实 (6)
Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用
65%待验证Gated DeltaNet从DeltaNet出发加入门控机制，动态决定何时保留历史信息、何时覆盖旧状态，在需要精确回忆的任务上表现更稳定。
50%待验证Qwen3.8 Flash Next模型共48层，由「3个门控DeltaNet层+1个稀疏注入」重复12次构成，实际包含约24.5万个专家实例，仅在12层保留传统注意力缓存
50%待验证DeltaNet是线性注意力的变体，用增量更新规则替代softmax注意力，将序列处理复杂度从O(n²)降至O(n)
50%待验证DeltaNet的增量更新机制使显存占用不随序列长度增长，而是保持常数大小，因为它维护固定大小的隐状态而非完整KV Cache
50%待验证DeltaNet属于线性注意力机制家族,旨在将注意力计算复杂度从O(n²)降低至O(n)
50%