Switch Transformer
Switch Transformer是由Google提出的基于混合专家（Mixture of Experts，MoE）架构的大规模语言模型。其核心设计是将传统Transformer中的前馈网络替换为多个专家网络，并通过路由机制在每次前向传播时动态选择激活少量专家，从而在保持计算效率的同时大幅扩展模型参数规模。该模型验证了MoE架构在自然语言处理领域的有效性，为稀疏激活模型的研究提供了重要参考。
核心事实
时间轴 (近 90 天)
熵正则化技术在MoE领域已有广泛应用，如GShard、Switch Transformer中的负载均衡损失
稀疏激活路由机制在 Switch Transformer、Mixtral 等研究中得到验证，输入 token 经由门控网络动态分配给最相关的专家子网
Switch Transformer 发布于 2021 年，Mixtral 8×7B 发布于 2023 年
MoE（稀疏专家混合）架构的核心优势是在保持大规模参数量的同时，通过稀疏激活大幅降低单次推理的计算成本；该架构思想最早可追溯到1991年Jacobs等人的研究
混合专家架构最早可追溯至1991年Jacobs等人提出的理论框架，但直到2017年Google的Switch Transformer论文才真正将其引入大规模语言模型领域
谷歌在MoE领域有深厚研究积累，从Switch Transformer到GShard再到Gemini系列
Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构
混合专家模型（MoE）架构如 Google 的 Switch Transformer 和 Mistral AI 的 Mixtral，总参数量巨大但每次推理只激活其中一小部分
MoE架构可追溯到1991年Jacobs等人的工作，但直到2022年后才在大语言模型中大规模应用
Switch Transformer将每个Token的专家选择简化为Top-1，并引入辅助损失函数防止Token涌向少数热门专家
还有 8 条时间轴事件
全部知识事实 (20)
谷歌2021年发布的Switch Transformer将MoE大规模应用于Transformer语言模型，将模型容量扩展至万亿参数级别
90%已验证Google的Switch Transformer和Mistral的Mixtral 8x7B是MoE架构的典型代表
90%已验证MoE 的大容量小激活设计使模型知识容量与推理成本得以解耦
85%已验证混合专家架构MoE将前馈网络层替换为多个专家子网络，通过路由器动态激活部分专家，使实际激活参数量仅为总量一小部分
85%已验证MoE（混合专家）的核心思想可追溯至1991年Jacobs等人提出的早期混合专家框架，谷歌2021年的Switch Transformer将其推入大规模语言模型时代
80%已验证MoE架构最早由Jacobs等人在1991年提出，近年来被Google的Switch Transformer和Mixtral等模型重新带入主流
80%已验证MoE在大语言模型时代被Google的Switch Transformer（2021年）和GLaM重新激活
70%已验证Google在Switch Transformer中大规模验证了Mixture of Experts（MOE）架构
70%已验证MoE现代形态可追溯至Google 2017年论文，2022年Google的Switch Transformer证明万亿参数稀疏模型可高效训练
65%待验证混合专家架构最早可追溯至1991年 Jacobs 等人的研究，Google Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）使其重回主流
60%待验证Switch Transformer于2021年提出，将每次路由的专家数量精简为1
60%待验证Google 的 Switch Transformer 和 GLaM 率先将 MoE 扩展至万亿参数级别
60%待验证熵正则化技术在MoE领域已有广泛应用，如GShard、Switch Transformer中的负载均衡损失
50%待验证稀疏激活路由机制在 Switch Transformer、Mixtral 等研究中得到验证，输入 token 经由门控网络动态分配给最相关的专家子网
50%待验证MoE（稀疏专家混合）架构的核心优势是在保持大规模参数量的同时，通过稀疏激活大幅降低单次推理的计算成本；该架构思想最早可追溯到1991年Jacobs等人的研究
50%待验证混合专家架构最早可追溯至1991年Jacobs等人提出的理论框架，但直到2017年Google的Switch Transformer论文才真正将其引入大规模语言模型领域
50%待验证谷歌在MoE领域有深厚研究积累，从Switch Transformer到GShard再到Gemini系列
50%待验证Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构
50%待验证混合专家模型（MoE）架构如 Google 的 Switch Transformer 和 Mistral AI 的 Mixtral，总参数量巨大但每次推理只激活其中一小部分
50%待验证MoE架构可追溯到1991年Jacobs等人的工作，但直到2022年后才在大语言模型中大规模应用
50%