待验证50% 置信事实精确时间
近年涌现出混合专家模型（MoE，如 Mixtral）、状态空间模型（SSM，如 Mamba）、线性注意力变体等新兴架构
1
来源数
50%
置信度
长期有效
时效性
2026/7/18
首次发现
来源
相关事实
待验证2024年以来Mamba2进一步统一了状态空间模型与注意力机制的理论框架，Jamba等混合架构将Mamba层与注意力层交错堆叠73% 相似已验证混合专家模型（MoE）是当前大规模语言模型的主流架构，其核心设计是将模型参数分成多个专家子网络，通过门控机制每次只激活少量参数72% 相似待验证MiniMax的模型架构采用了混合专家（MoE）与线性注意力的创新组合71% 相似待验证现在的大模型基本都是MOE（混合专家）架构71% 相似待验证Jamba（AI21）、Zamba（Zyphra）、Griffin（DeepMind）等模型在实践中将SSM层与注意力层交替使用，以在效率与表达能力之间取得平衡70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/551458API
curl https://kongchang.com/api/v1/knowledge/claims/551458MCP
get_claim(id=551458)