Mixtral
Mistral AI推出的混合专家（MoE）开源大语言模型，将MoE架构带入主流社区视野，采用稀疏激活机制
核心事实
时间轴 (近 90 天)
Mistral的Mixtral系列采用稀疏专家架构，在推理成本上有明显优势，其效率导向技术路线与在轨部署的功耗约束天然契合。
Groq 本身不是模型，而是提供对多种开源模型（如 Llama、Qwen、Mixtral 等）调用权的平台，可以在不改动工作流结构的前提下随时切换模型。
MoE 架构近年来在大语言模型领域（如 Mixtral、DeepSeek、Qwen3 系列）被广泛采用
Mixtral、DeepSeek等开源模型已验证了MoE架构在本地部署场景的优势
Mistral/Mixtral使用[INST]和[/INST]包裹用户输入，ChatML格式以<|im_start|>和<|im_end|>为标记，被Qwen、Phi等多个模型采用
Mixtral、DeepSeek、Qwen3 等开源模型都采用了 MoE 架构
稀疏激活路由机制在 Switch Transformer、Mixtral 等研究中得到验证，输入 token 经由门控网络动态分配给最相关的专家子网
78B参数规模与Meta的Llama 3.1 70B、Mistral的Mixtral系列处于相近量级
Groq 免费套餐支持调用 LLaMA 3、Mixtral 等开源模型，无需信用卡即可注册获取
Mixtral、Qwen等开源模型将MoE架构推向了消费级硬件玩家的视野
还有 18 条时间轴事件
全部知识事实 (20)
Mistral是法国AI公司，以高效的开源模型著称
90%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证MOE架构将模型内部划分为多个专家子网络，每次推理时由门控网络动态选择少数专家参与计算，实际激活参数量远小于总参数量
90%已验证混合专家模型（MoE）通过门控机制对每个输入token动态选择少数专家激活，从而在保持模型能力的同时降低单次计算开销
85%已验证混合专家架构MoE将前馈网络层替换为多个专家子网络，通过路由器动态激活部分专家，使实际激活参数量仅为总量一小部分
85%已验证Google的Gemini 1.5系列已被证实采用MoE（混合专家）架构
85%已验证GPT-4和Mixtral等主流大模型也采用了MoE架构
85%已验证MoE架构最早由Jacobs等人在1991年提出，近年来被Google的Switch Transformer和Mixtral等模型重新带入主流
80%已验证Qwen、Mixtral、DeepSeek等开源大模型系列均采用MoE设计
75%已验证Meta开源了Llama系列模型，阿里开源了Qwen系列，Mistral AI也采用开源策略
75%已验证Groq 以 API 方式托管 Llama、Mixtral 等开源模型并提供免费额度
65%已验证Meta的LLaMA系列、Mistral、Falcon等开源大模型已形成活跃的开源AI生态
65%已验证混合专家架构（MoE）通过路由机制仅激活最相关的专家子网络（通常为总参数量的1/8至1/4），Mistral的Mixtral和Google的Gemini 1.5均采用该架构
65%已验证Meta的LLaMA系列、Google的Gemma、Mistral AI的Mistral/Mixtral、阿里的Qwen系列都在Transformers中获得支持
65%待验证Mixtral and DeepSeek-V2 adopt sparse activation strategies
90%待验证Meta 的 LLaMA 系列、Mistral AI 的 Mistral/Mixtral、Google 的 Gemma 等开源模型都选择通过 Hugging Face 平台和 Transformers 格式进行发布
90%待验证MoE架构最早由Google在2017年提出，后被Mistral的Mixtral系列和阿里的Qwen系列等广泛采用
85%待验证DBRX在发布时在多项基准测试中超越了同期的Llama 2 70B和Mixtral等开源模型
75%待验证Together AI 是一个专注于开源大模型的云推理平台，支持 Llama、Mixtral、Qwen 等主流开源模型
70%待验证SGLang对MoE模型的专家并行支持比vLLM更为成熟，使其成为部署Mixtral、DeepSeek、Kimi K2.6等MoE架构模型的首选框架之一
70%