待验证50% 置信事实精确时间

混合专家模型（MoE）架构如 Google 的 Switch Transformer 和 Mistral AI 的 Mixtral，总参数量巨大但每次推理只激活其中一小部分

1

来源数

50%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

LLM City：把大模型权重变成一座3D城市是什么体验

涉及实体

MoEconcept Switch Transformermodel Mixtralmodel Mistral AIcompany

相关事实

已验证1.6万亿参数级别的巨型模型通常采用混合专家架构（MoE），每次推理只激活一小部分专家子网络76% 相似已验证混合专家架构MoE通过稀疏激活机制，推理时只激活模型总参数的1/8至1/475% 相似待验证Mixtral系列采用稀疏混合专家架构（Sparse Mixture of Experts, MoE），在激活参数受限的前提下扩展模型容量73% 相似待验证前沿模型常采用混合专家架构（MoE）在推理时只激活部分参数，以平衡速度与质量72% 相似待验证混合专家架构（MoE）的核心创新在于条件计算，即由门控网络动态选择少数专家参与计算而非激活全部参数72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/831999

API

curl https://kongchang.com/api/v1/knowledge/claims/831999

MCP

get_claim(id=831999)