MoE
混合专家模型（Mixture of Experts，MoE）是一种机器学习架构范式，由多个专门化的子网络（称为"专家"）和一个门控路由机制组成。在处理每个输入时，路由机制仅激活其中少数专家，而非全部参数，从而在保持模型整体容量的同时显著降低单次推理的计算量。MoE广泛应用于大规模语言模型和深度学习系统，是提升模型规模与计算效率之间平衡的重要技术路径。
核心事实
时间轴 (近 90 天)
在本地运行MoE模型时，专家卸载是一种关键技术，允许将不常用的专家参数存放在外部存储（如CPU内存或SSD），需要时再加载到GPU。
一个MoE层的全部参数可能高达数十乃至数百GB，但单次前向实际用到的仅是一小部分。
在专家并行下，MoE层每一层都要经历all-to-all的token分发、分组GEMM以及combine回收三个步骤。
引擎与硬件协同优化可利用 Tensor Core 的稀疏计算支持或内存层次特性，在路由阶段预取专家权重、重叠计算与数据传输。
MoE 调度层面的负载均衡优化包括：按专家亲和性对请求分组、动态调整批大小、使用 capacity factor 限制每个专家的 token 数并处理溢出。
NVIDIA 的优化未改变路由逻辑或引入计算近似，而是提升执行效率，这解释了为何未检测到精度变化。
MoE 内核层面的常见访存优化包括：专家权重按访问频率分组、连续内存布局减少碎片、融合路由与专家计算的内核以减少中间结果写回。
MoE 推理的瓶颈主要在于内存访问和调度：专家权重分散存储、路由结果动态导致访存模式不规则、批处理内负载不均衡。
Sonar-MoE 提出在反向传播过程中直接更新专家张量，更新完立即释放梯度，从而将峰值显存降低 19% 到 22%。
Qwen3.8-27B 的 3-bit 和 NVFP4 版本分别得分 0.39 和 0.34，落后于 MoE 架构的 Flash-Next，配对差异为 +0.16，P = 0.92。
还有 40 条时间轴事件
全部知识事实 (20)
NVIDIA Nemotron 3.5 Super VL 是 120B 参数 MoE 模型，激活参数 12B，支持最高 100 万 token 上下文，面向文档理解、computer use 和 agent 场景。
90%已验证Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型
90%已验证GPT-4采用混合专家（MoE）架构，估计总参数量达1.8万亿，每次推理实际激活参数约为总量的1/8
90%已验证混合专家模型的理论根源可追溯至1991年Jacobs等人提出的混合专家系统
90%已验证DeepSeek-V3采用了混合专家架构（MoE），总参数量达6710亿，但每次推理仅激活约370亿参数
90%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证MoE架构每次推理时通常仅激活总参数的10%-20%
90%已验证MOE架构将模型内部划分为多个专家子网络，每次推理时由门控网络动态选择少数专家参与计算，实际激活参数量远小于总参数量
90%已验证DeepSeek是由中国人工智能公司深度求索开发的大语言模型系列
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Muse Spark Open采用MoE架构，总参数816B，激活参数42B。
85%已验证Mistral Large 4采用稀疏混合专家（MoE）架构，每次推理实际激活参数为490亿（49B）
85%已验证Qwen3.8-Flash-Next 采用 125B 总参数、6B 激活参数的混合专家（MoE）架构
85%已验证MoE 的大容量小激活设计使模型知识容量与推理成本得以解耦
85%已验证混合专家模型（MoE）通过门控机制对每个输入token动态选择少数专家激活，从而在保持模型能力的同时降低单次计算开销
85%已验证混合专家架构MoE将前馈网络层替换为多个专家子网络，通过路由器动态激活部分专家，使实际激活参数量仅为总量一小部分
85%已验证Google的Gemini 1.5系列已被证实采用MoE（混合专家）架构
85%已验证GPT-4和Mixtral等主流大模型也采用了MoE架构
85%已验证Qwen 3.8 Flash Next采用混合专家架构（MoE）
80%已验证DeepSeek V4 Flash是一款总参数量284B的MoE多模态模型
80%