待验证50% 置信事实精确时间
Switch Transformer 由 William Fedus 等人于2021年提出，首次将 MoE 扩展到万亿参数规模
1
来源数
50%
置信度
长期有效
时效性
2026/8/15
首次发现
来源
相关事实
已验证谷歌2021年发布的Switch Transformer将MoE大规模应用于Transformer语言模型，将模型容量扩展至万亿参数级别73% 相似待验证Switch Transformer于2021年提出，将每次路由的专家数量精简为171% 相似待验证Switch Transformer将专家数量扩展至2048个，2022年谷歌GLaM模型进一步验证了MoE在多任务泛化上的优势71% 相似待验证Transformer于2017年提出后被快速引入时序预测领域64% 相似待验证Universal Transformer于2018年提出，将同一个Transformer块反复应用于输入序列64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/749717API
curl https://kongchang.com/api/v1/knowledge/claims/749717MCP
get_claim(id=749717)