Mixtral 8x7B

Mixtral 8x7B是由Mistral AI开发的混合专家（Mixture of Experts，MoE）架构大语言模型，由8个各含70亿参数的专家子网络组成，推理时每个token仅激活其中部分专家，在保持较低计算开销的同时实现较高的模型容量。该模型支持多语言文本理解与生成任务，在代码、推理等多项基准测试中表现突出，是开源社区中具有代表性的稀疏MoE语言模型之一。