待验证50% 置信事实精确时间
MoE 用多个专家子网络替代传统 Transformer 中稠密的前馈层（FFN），并通过路由器为每个 token 动态选择少量专家进行计算
1
来源数
50%
置信度
长期有效
时效性
2026/9/14
首次发现
来源
涉及实体
相关事实
待验证MoE（Mixture of Experts）是一种条件计算技术，每次推理时由门控网络选择性地激活部分专家，Switch Transformer和GShard是其早期成功实践74% 相似待验证MoE（混合专家模型）通过将大FFN拆成N个小FFN专家，并用路由网络决定每次激活哪些专家来实现稀疏激活74% 相似已验证混合专家架构（MoE）的核心创新在于条件计算，即由门控网络动态选择少数专家参与计算而非激活全部参数71% 相似待验证MoE通过门控网络为每个输入Token动态路由，仅激活最相关的少数几个专家，从而打破参数规模与推理成本的线性关系70% 相似已验证MoE架构通过路由器网络决定激活哪些专家子网络处理当前输入，使模型在性能和效率之间取得平衡69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/920894API
curl https://kongchang.com/api/v1/knowledge/claims/920894MCP
get_claim(id=920894)