ModelMixtral 8×7B
Mixtral
Mistral AI推出的混合专家（MoE）开源大语言模型，将MoE架构带入主流社区视野，采用稀疏激活机制
Core Facts
Timeline (last 90 days)
Aug 4
Mixtral and DeepSeek-V2 adopt sparse activation strategies
Unverified90%
Jul 2
以Google Switch Transformer、Mixtral为代表的MoE模型成功部署后，MoE架构已成为超大规模语言模型的主流技术选择
Unverified50%
Jun 1
Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
Verified75%