MoE
混合专家模型（Mixture of Experts，MoE）是一种机器学习架构范式，由多个专门化的子网络（称为"专家"）和一个门控路由机制组成。在处理每个输入时，路由机制仅激活其中少数专家，而非全部参数，从而在保持模型整体容量的同时显著降低单次推理的计算量。MoE广泛应用于大规模语言模型和深度学习系统，是提升模型规模与计算效率之间平衡的重要技术路径。
核心事实
时间轴 (近 90 天)
MoE 的路由冗余性通常很高：不同专家在功能上存在相当程度的可替代性，许多 token 即使改派给次优专家，输出分布也变化不大。
对于服务 MoE 模型的生产系统，应该用预填充-解码分离架构替代单一解码流程，把全模型 KV 缓存直接输入剪枝后的解码器。
对于816B这类超大MoE模型，即使只激活42B参数，原始权重仍需完整驻留内存，量化几乎是消费级硬件上运行的前提。
稀疏混合专家（MoE）通过路由门控网络为每个输入token只挑选少数专家参与计算，使总参数量可以很大但每token激活参数很少。
MoE架构中所有专家权重必须驻留在显存或统一内存中，总参数量决定硬件内存门槛，激活参数量影响推理速度。
传统MoE负载均衡损失主要从训练稳定性出发，让专家使用更均匀。
Muse Spark Open 拥有约 8160 亿参数，但每个 token 只激活约 420 亿参数，而全部 8160 亿参数必须常驻内存。
Nemotron 3.5 Super VL 采用混合专家（MoE）架构，每个 token 只路由到约十分之一的专家网络。
Muse Spark Open采用MoE架构，总参数816B，激活参数42B。
稠密模型（Qwen 3.8、Mistral Medium 3.5）在多机扩展上比 MoE 模型（Muse Spark Open）表现更好，后者专家输出需单独归一化，引入额外预填充通信开销。
还有 40 条时间轴事件
全部知识事实 (20)
Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型
90%已验证混合专家模型的理论根源可追溯至1991年Jacobs等人提出的混合专家系统
90%已验证DeepSeek-V3采用了混合专家架构（MoE），总参数量达6710亿，但每次推理仅激活约370亿参数
90%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证MoE架构每次推理时通常仅激活总参数的10%-20%
90%已验证MOE架构将模型内部划分为多个专家子网络，每次推理时由门控网络动态选择少数专家参与计算，实际激活参数量远小于总参数量
90%已验证DeepSeek是由中国人工智能公司深度求索开发的大语言模型系列
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证MoE 的大容量小激活设计使模型知识容量与推理成本得以解耦
85%已验证混合专家模型（MoE）通过门控机制对每个输入token动态选择少数专家激活，从而在保持模型能力的同时降低单次计算开销
85%已验证混合专家架构MoE将前馈网络层替换为多个专家子网络，通过路由器动态激活部分专家，使实际激活参数量仅为总量一小部分
85%已验证Google的Gemini 1.5系列已被证实采用MoE（混合专家）架构
85%已验证GPT-4和Mixtral等主流大模型也采用了MoE架构
85%已验证Qwen 3.8 Flash Next采用混合专家架构（MoE）
80%已验证DeepSeek V4 Flash是一款总参数量284B的MoE多模态模型
80%已验证DeepSeek V4 Flash是深度求索推出的针对速度和成本优化的高性价比推理模型
80%已验证MoE架构通过多个专家网络和路由机制，在每次前向传播时只选择性激活部分专家，在保持大模型容量的同时降低计算开销
80%已验证MoE模型所有专家参数都需驻留内存（即便不被激活），这也是三元量化对MoE格外重要的原因
80%已验证MoE（混合专家）的核心思想可追溯至1991年Jacobs等人提出的早期混合专家框架，谷歌2021年的Switch Transformer将其推入大规模语言模型时代
80%已验证盘古2.0 Flash采用MoE（混合专家）架构，参数规模为92B A6B（总参数92B，激活参数6B）
80%