待验证50% 置信事实精确时间
Google Brain于2017年在《Outrageously Large Neural Networks》论文中将MoE规模化应用于Transformer框架
1
来源数
50%
置信度
长期有效
时效性
2026/7/17
首次发现
来源
相关事实
待验证2017年谷歌发表《Outrageously Large Neural Networks》，系统验证了稀疏MoE在Transformer结构中的有效性84% 相似已验证MoE架构由Shazeer等人于2017年在论文《Outrageously Large Neural Networks》中提出，随后由Google在Switch Transformer（2021年）中大规模验证83% 相似已验证混合专家架构（MoE）由Google Brain于2017年在Transformer框架下规模化应用，核心思想是将模型参数分组为多个专家子网络，每次推理仅激活其中一小部分82% 相似待验证现代MoE的复兴可追溯到2017年Google Brain团队发表的论文《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》，首次将稀疏MoE层集成进大型序列模型79% 相似待验证Transformer架构自2017年由Google提出，其自注意力机制计算复杂度随序列长度呈平方级增长77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/537898API
curl https://kongchang.com/api/v1/knowledge/claims/537898MCP
get_claim(id=537898)