已验证90% 置信事实精确时间

谷歌2021年发布的Switch Transformer将MoE大规模应用于Transformer语言模型，将模型容量扩展至万亿参数级别

12

来源数

90%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

开源能否掀翻ChatGPT？蒋涛解读DeepSeek破局之道

相关事实

待验证Switch Transformer将专家数量扩展至2048个，2022年谷歌GLaM模型进一步验证了MoE在多任务泛化上的优势83% 相似待验证Gshard（2020）首次实现了万亿参数MoE模型的分布式训练，Switch Transformer（2022）将每个token的路由选择收敛为单一专家70% 相似待验证Transformer架构于2017年问世后，谷歌、OpenAI、Meta等机构几乎在同一年内各自完成了基于该架构的大型语言模型预研70% 相似待验证Switch Transformer于2021年提出，将每次路由的专家数量精简为168% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/536153

API

curl https://kongchang.com/api/v1/knowledge/claims/536153

MCP

get_claim(id=536153)