待验证50% 置信事实精确时间
混合注意力架构思路在Jamba（Mamba+Attention混合）和Zamba等模型中也有体现
1
来源数
50%
置信度
长期有效
时效性
2026/9/3
首次发现
来源
涉及实体
相关事实
待验证Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用67% 相似待验证针对长序列的架构改进方案包括线性注意力近似的Performer、基于状态空间模型的Mamba、以及结合滑动窗口注意力的Longformer66% 相似待验证新内核为滑动窗口注意力（SWA）层提供双输入支持，并引入 attention sinks 机制66% 相似待验证Qwen3.5-Omni采用混合注意力MOE（Mixture of Experts）架构66% 相似待验证52层中有23层是Mamba、只有6层是注意力，Mamba基于状态空间模型的递归特性天然具有从左到右的方向性偏置64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/847377API
curl https://kongchang.com/api/v1/knowledge/claims/847377MCP
get_claim(id=847377)