模型DeepSeek V2
DeepSeek-V2
DeepSeek发布的MoE大语言模型，引入细粒度专家切分与共享专家机制，将专家数量从8扩大至160，部分专家对所有token始终激活以保留通用知识
核心事实
时间轴 (近 90 天)
8月24日
DeepSeek-V2将每个Transformer层的FFN拆分为多个专家模块，通过门控网络动态路由，每个token只激活约10%的参数
待验证50%
8月4日
Mixtral and DeepSeek-V2 adopt sparse activation strategies
待验证90%
7月2日
以Google Switch Transformer、Mixtral为代表的MoE模型成功部署后，MoE架构已成为超大规模语言模型的主流技术选择
待验证50%
6月1日
Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
已验证75%
6月1日
DeepSeek采用了混合专家架构（MoE）和多头潜在注意力机制（MLA）
已验证80%
全部知识事实 (5)
已验证
DeepSeek采用了混合专家架构（MoE）和多头潜在注意力机制（MLA）
80%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
75%待验证Mixtral and DeepSeek-V2 adopt sparse activation strategies
90%待验证DeepSeek-V2将每个Transformer层的FFN拆分为多个专家模块，通过门控网络动态路由，每个token只激活约10%的参数
50%待验证以Google Switch Transformer、Mixtral为代表的MoE模型成功部署后，MoE架构已成为超大规模语言模型的主流技术选择
50%