Unverified60% confidenceFactExact time
MoE架构总参数量可极大但每次推理仅激活一小部分参数，以GPT-4、Mixtral、Gemini为代表的顶级模型均采用该架构
2
Sources
60%
Confidence
Long-term
Relevance
7/8/2026
First Seen
Sources
GPT旗舰模型集成Codex：750 Token/秒推理速度详解
bilibili声译看世界7/7/2026
Related Claims
VerifiedGPT-4和Mixtral等主流大模型也采用了MoE架构78% similarUnverifiedMoE架构通过路由器动态选择少数专家参与计算，实现稀疏激活，GPT-4、Mistral、DeepSeek等主流前沿模型均采用类似设计78% similarUnverifiedGPT-4采用混合专家（MoE）架构，估计总参数量达1.8万亿，每次推理实际激活参数约为总量的1/877% similarUnverifiedGrok 4.5采用稠密模型架构，与GPT-4等采用的MoE稀疏架构不同，稠密模型每次推理都会激活全部参数77% similarUnverified每次推理需要将模型权重加载到GPU显存并按Token逐步生成回答，GPT-4级别模型参数量通常在数千亿量级76% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/291499API
curl https://kongchang.com/api/v1/knowledge/claims/291499MCP
get_claim(id=291499)