模型Mixtral
Mixtral 8×7B
Mistral AI于2023年发布的稀疏混合专家（MoE）语言模型，包含8个专家网络每次激活其中2个，是开源MoE大模型的标志性实践
时间轴 (近 90 天)
10月3日
Mixtral 8×7B、DeepSeek-V2等开源模型均采用MoE架构
待验证50%
9月15日
Switch Transformer 发布于 2021 年，Mixtral 8×7B 发布于 2023 年
待验证50%
Mistral AI于2023年发布的稀疏混合专家（MoE）语言模型，包含8个专家网络每次激活其中2个，是开源MoE大模型的标志性实践
Mixtral 8×7B、DeepSeek-V2等开源模型均采用MoE架构
Switch Transformer 发布于 2021 年，Mixtral 8×7B 发布于 2023 年