Unverified50% confidenceFactExact time
近年涌现出混合专家模型（MoE，如 Mixtral）、状态空间模型（SSM，如 Mamba）、线性注意力变体等新兴架构
1
Sources
50%
Confidence
Long-term
Relevance
7/18/2026
First Seen
Sources
Related Claims
Unverified2024年以来Mamba2进一步统一了状态空间模型与注意力机制的理论框架，Jamba等混合架构将Mamba层与注意力层交错堆叠73% similarVerified混合专家模型（MoE）是当前大规模语言模型的主流架构，其核心设计是将模型参数分成多个专家子网络，通过门控机制每次只激活少量参数72% similarUnverifiedMiniMax的模型架构采用了混合专家（MoE）与线性注意力的创新组合71% similarUnverified现在的大模型基本都是MOE（混合专家）架构71% similarUnverifiedJamba（AI21）、Zamba（Zyphra）、Griffin（DeepMind）等模型在实践中将SSM层与注意力层交替使用，以在效率与表达能力之间取得平衡70% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/551458API
curl https://kongchang.com/api/v1/knowledge/claims/551458MCP
get_claim(id=551458)