待验证95% 置信事实时间未知
Qwen3.5-Omni采用混合注意力MOE（Mixture of Experts）架构
1
来源数
95%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
Qwen3.5-Omni发布：215项任务SOTA，阿里全模态大模型硬刚Gemini
bilibili机器之心官方
涉及实体
相关事实
待验证Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用77% 相似待验证Qwen系列在架构层面引入了GQA（分组查询注意力）机制，相比标准多头注意力降低了KV缓存的内存占用70% 相似待验证Muse Glimmer采用混合注意力机制：大部分层只关注2048 token的局部窗口，每隔四层做一次全局全注意力66% 相似待验证多智能体架构通过关注点分离，每个智能体拥有独立的系统提示词、工具集和上下文窗口，避免单一上下文过长导致的注意力稀释和幻觉问题65% 相似待验证Multi-Query Attention技术让多个注意力头共享同一组Key和Value投影矩阵，将KV缓存显存需求压缩至原来的1/H，代价是模型表达能力的轻微损失63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/13579API
curl https://kongchang.com/api/v1/knowledge/claims/13579MCP
get_claim(id=13579)