Unverified50% confidenceFactExact time
MoE在大语言模型时代被Google的Switch Transformer（2021年）和GLaM重新激活
1
Sources
50%
Confidence
Long-term
Relevance
7/24/2026
First Seen
Sources
Related Claims
Verified以Google Switch Transformer、Mixtral为代表的MoE模型成功部署后，MoE架构已成为超大规模语言模型的主流技术选择81% similarUnverifiedMoE现代形态可追溯至Google 2017年论文，2022年Google的Switch Transformer证明万亿参数稀疏模型可高效训练80% similarVerifiedMoE（混合专家）的核心思想可追溯至1991年Jacobs等人提出的早期混合专家框架，谷歌2021年的Switch Transformer将其推入大规模语言模型时代79% similarVerified2017年Google提出的Transformer架构奠定了大语言模型的基础78% similarUnverifiedGoogle 的 Switch Transformer 和 GLaM 率先将 MoE 扩展至万亿参数级别75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/604954API
curl https://kongchang.com/api/v1/knowledge/claims/604954MCP
get_claim(id=604954)