待验证50% 置信事实精确时间
Switch Transformer 和 Mixtral 8x7B 是 MoE 架构的典型代表，总参数量大但每次只激活一部分专家。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证Google 的 Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）都采用了稀疏 MoE 架构，即每次前向传播只激活少数几个专家77% 相似待验证Switch Transformer和Mixtral系列广泛采用了MoE架构73% 相似已验证MoE架构将标准Transformer的FFN层替换为N个并行专家子网络，并通过门控路由网络每次选择Top-K个专家进行计算（通常K=2），实现稀疏激活68% 相似待验证Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构67% 相似已验证MoE架构将Transformer的前馈网络层替换为多个并行专家子网络，通过路由网络对每个token动态选择激活2-4个专家65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1032744API
curl https://kongchang.com/api/v1/knowledge/claims/1032744MCP
get_claim(id=1032744)