待验证60% 置信事实精确时间
Google 的 Switch Transformer 和 GLaM 率先将 MoE 扩展至万亿参数级别
2
来源数
60%
置信度
长期有效
时效性
2026/7/23
首次发现
来源
相关事实
已验证MoE在大语言模型时代被Google的Switch Transformer（2021年）和GLaM重新激活75% 相似已验证MoE现代形态可追溯至Google 2017年论文，2022年Google的Switch Transformer证明万亿参数稀疏模型可高效训练75% 相似待验证Google于2022年发布的Switch Transformer证明MoE架构在相同计算预算下收敛速度可达稠密模型的4-7倍74% 相似待验证谷歌在MoE领域有深厚研究积累，从Switch Transformer到GShard再到Gemini系列72% 相似已验证MoE架构由Shazeer等人于2017年在论文《Outrageously Large Neural Networks》中提出，随后由Google在Switch Transformer（2021年）中大规模验证70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/600366API
curl https://kongchang.com/api/v1/knowledge/claims/600366MCP
get_claim(id=600366)