待验证50% 置信事实精确时间
Qwen3.8-Flash-Next使用GDN加QSA的混合注意力机制，MoE层使用512个专家和Top-10路由
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证Qwen3.8-Flash-Next采用GDN加QSA的混合注意力机制，总参数125B外加51B的N-gram嵌入，每个Token仅激活约6B参数80% 相似待验证GQA（分组查询注意力）等技术可以有效压缩KV Cache，Qwen3系列也采用了类似优化69% 相似待验证GLM-5.3-Flash采用稀疏注意力与线性注意力的混合架构，并完全运行于国产AI芯片集群68% 相似已验证Qwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术67% 相似待验证LLaMA-2 70B采用80层、64个注意力头的架构，并使用GQA（8个KV头共享64个Q头）67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/863612API
curl https://kongchang.com/api/v1/knowledge/claims/863612MCP
get_claim(id=863612)