Unverified50% confidenceFactExact time
2017年谷歌发表《Outrageously Large Neural Networks》，系统验证了稀疏MoE在Transformer结构中的有效性
1
Sources
50%
Confidence
Long-term
Relevance
7/23/2026
First Seen
Sources
Related Claims
UnverifiedGoogle Brain于2017年在《Outrageously Large Neural Networks》论文中将MoE规模化应用于Transformer框架84% similarVerifiedMoE架构由Shazeer等人于2017年在论文《Outrageously Large Neural Networks》中提出，随后由Google在Switch Transformer（2021年）中大规模验证82% similarUnverifiedTransformer架构自2017年由Google提出，其自注意力机制计算复杂度随序列长度呈平方级增长77% similarUnverifiedTransformer由Google于2017年发布，其自注意力机制允许模型动态计算词元与序列中所有其他词元的关联权重73% similarVerifiedTransformer架构于2017年由Google提出73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/598593API
curl https://kongchang.com/api/v1/knowledge/claims/598593MCP
get_claim(id=598593)