概念Hybrid Attention / 双模式注意力 / 压缩注意力

混合注意力

混合注意力（Hybrid Attention）是一种深度学习中的注意力机制设计方法，通过将全局注意力与局部注意力、稀疏注意力等不同注意力策略相结合，在保留长距离依赖建模能力的同时降低计算复杂度。该方法常用于大型语言模型中，以在处理长序列上下文时平衡模型性能与计算效率，是序列建模领域的重要技术方向之一。

核心事实

Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用

已验证65% 置信3 来源

时间轴 (近 90 天)

9月18日

该模型采用混合注意力方案，约 75% 的注意力层使用线性复杂度，从而在长上下文场景下节省约 75% 计算开销

待验证50%

8月23日

Muse Glimmer采用混合注意力机制：大部分层只关注2048 token的局部窗口，每隔四层做一次全局全注意力

待验证50%

全部知识事实 (3)

已验证

Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用

65%待验证

该模型采用混合注意力方案，约 75% 的注意力层使用线性复杂度，从而在长上下文场景下节省约 75% 计算开销

50%待验证

Muse Glimmer采用混合注意力机制：大部分层只关注2048 token的局部窗口，每隔四层做一次全局全注意力

50%

来源文章

vLLM v0.30.0 发布：混合注意力与推测解码全面升级9月24日 DeepSeek V4编码实测：榜单第一Kimi翻车，Claude稳居最强5月23日 DeepSeek V4深度解析：混合注意力+流形约束+MOM优化器三大创新全解读5月23日