待验证50% 置信事实精确时间
MoE在大语言模型时代被Google的Switch Transformer（2021年）和GLaM重新激活
1
来源数
50%
置信度
长期有效
时效性
2026/7/24
首次发现
来源
相关事实
已验证以Google Switch Transformer、Mixtral为代表的MoE模型成功部署后，MoE架构已成为超大规模语言模型的主流技术选择81% 相似待验证MoE现代形态可追溯至Google 2017年论文，2022年Google的Switch Transformer证明万亿参数稀疏模型可高效训练80% 相似已验证MoE（混合专家）的核心思想可追溯至1991年Jacobs等人提出的早期混合专家框架，谷歌2021年的Switch Transformer将其推入大规模语言模型时代79% 相似已验证2017年Google提出的Transformer架构奠定了大语言模型的基础78% 相似待验证Google 的 Switch Transformer 和 GLaM 率先将 MoE 扩展至万亿参数级别75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/604954API
curl https://kongchang.com/api/v1/knowledge/claims/604954MCP
get_claim(id=604954)