已验证65% 置信事实精确时间
谷歌2021年发布的Switch Transformer通过将路由简化为Top-1选择并引入专家容量机制缓解负载不均衡问题
3
来源数
65%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
待验证2022年Google的《Switch Transformers》将MoE中选Top-K专家简化为选Top-1专家，并通过辅助负载均衡损失函数解决专家坍塌问题80% 相似待验证Google于2022年发布的Switch Transformer证明MoE架构在相同计算预算下收敛速度可达稠密模型的4-7倍80% 相似已验证Google在Switch Transformer中大规模验证了Mixture of Experts（MOE）架构76% 相似待验证Conformer（Convolution-augmented Transformer）架构由Google在2020年提出，结合了Transformer的全局自注意力机制和卷积神经网络的局部特征提取能力75% 相似已验证Transformer架构于2017年由Google提出74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/507685API
curl https://kongchang.com/api/v1/knowledge/claims/507685MCP
get_claim(id=507685)