已验证65% 置信事实时间未知

Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用

3

来源数

65%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Qwen3.5深度解析：混合注意力架构实现19倍长上下文加速

bilibili雪天鱼

涉及实体

Qwen3.5model Gated Delta Netconcept Gated Attentionconcept

相关事实

待验证Qwen3.5-Omni采用混合注意力MOE（Mixture of Experts）架构77% 相似待验证Qwen3.5引入门控（Gating）机制对注意力结果做二次过滤，可消除Attention Sink现象并增强长文本外推能力73% 相似已验证Qwen系列在架构层面引入了GQA（分组查询注意力）机制，相比标准多头注意力降低了KV缓存的内存占用72% 相似待验证Qwen3 27B将三层线性注意力与一层完整注意力组合成循环结构，比例为3:172% 相似待验证Qwen 3.8 Flash Next实现了QSA（Qwen稀疏注意力机制），通过块级稀疏注意力降低长上下文处理开销69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/18077

API

curl https://kongchang.com/api/v1/knowledge/claims/18077

MCP

get_claim(id=18077)