待验证60% 置信事实时间未知

MOE架构只激活部分专家网络，在保持模型容量的同时提高计算效率

2

来源数

60%

置信度

长期有效

时效性

2026/6/2

首次发现

来源

大模型工程师必备技能：应用开发与微调训练完整指南

bilibili码士集团-鹅鹅

涉及实体

相关事实

已验证MoE架构通过路由器网络决定激活哪些专家子网络处理当前输入，使模型在性能和效率之间取得平衡80% 相似已验证MOE架构将模型内部划分为多个专家子网络，每次推理时由门控网络动态选择少数专家参与计算，实际激活参数量远小于总参数量80% 相似待验证MoE模型在处理每个token时仅由路由器动态选择少数专家子网络参与计算，其余专家保持休眠79% 相似待验证MoE架构将模型分割为多个专家子网络，每次推理仅激活少数专家，通讯开销随集群规模呈近似平方级增长77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/38095

API

curl https://kongchang.com/api/v1/knowledge/claims/38095

MCP

get_claim(id=38095)