DeepSeek-V2
DeepSeek发布的MoE大语言模型，引入细粒度专家切分与共享专家机制，将专家数量从8扩大至160，部分专家对所有token始终激活以保留通用知识
核心事实
时间轴 (近 90 天)
Mixtral 8×7B、DeepSeek-V2等开源模型均采用MoE架构
2024年后DeepSeek-V2、Qwen2等模型开始在部分基准上追平甚至超越同期西方竞争对手
DeepSeek-V2 拥有 160 个专家
DeepSeek-V2/V3、Qwen2-MoE 等近期热门模型均采用了 MoE 架构
DeepSeek-V2采用了1个共享专家加多个路由专家的配置，取得了优于纯路由MoE的效果
Mixtral 8x7B的激活率约为25%，DeepSeek-V2的激活率约为10%
DeepSeek-V2将每个Transformer层的FFN拆分为多个专家模块，通过门控网络动态路由，每个token只激活约10%的参数
Mixtral and DeepSeek-V2 adopt sparse activation strategies
DeepSeek在V3中通过无辅助损失的负载均衡策略和专用MoE并行框架部分解决了MoE工程挑战
全部知识事实 (14)
Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证DeepSeek V4 Pro采用了MoE（Mixture of Experts，混合专家）架构，在推理时只激活部分参数以降低计算成本
80%已验证DeepSeek采用了混合专家架构（MoE）和多头潜在注意力机制（MLA）
80%已验证DeepSeek在V3中通过无辅助损失的负载均衡策略和专用MoE并行框架部分解决了MoE工程挑战
65%待验证Mixtral and DeepSeek-V2 adopt sparse activation strategies
90%待验证DeepSeek-V3于2024年底发布
70%待验证MoE架构的典型代表包括Mixtral 8x7B和DeepSeek-V2
60%待验证Mixtral 8×7B、DeepSeek-V2等开源模型均采用MoE架构
50%待验证2024年后DeepSeek-V2、Qwen2等模型开始在部分基准上追平甚至超越同期西方竞争对手
50%待验证DeepSeek-V2 拥有 160 个专家
50%待验证DeepSeek-V2/V3、Qwen2-MoE 等近期热门模型均采用了 MoE 架构
50%待验证DeepSeek-V2采用了1个共享专家加多个路由专家的配置，取得了优于纯路由MoE的效果
50%待验证Mixtral 8x7B的激活率约为25%，DeepSeek-V2的激活率约为10%
50%待验证DeepSeek-V2将每个Transformer层的FFN拆分为多个专家模块，通过门控网络动态路由，每个token只激活约10%的参数
50%