待验证60% 置信事实精确时间

MoE架构总参数量可极大但每次推理仅激活一小部分参数，以GPT-4、Mixtral、Gemini为代表的顶级模型均采用该架构

2

来源数

60%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

GPT旗舰模型集成Codex：750 Token/秒推理速度详解

bilibili声译看世界2026/7/7

相关事实

已验证GPT-4和Mixtral等主流大模型也采用了MoE架构78% 相似待验证MoE架构通过路由器动态选择少数专家参与计算，实现稀疏激活，GPT-4、Mistral、DeepSeek等主流前沿模型均采用类似设计78% 相似待验证GPT-4采用混合专家（MoE）架构，估计总参数量达1.8万亿，每次推理实际激活参数约为总量的1/877% 相似待验证Grok 4.5采用稠密模型架构，与GPT-4等采用的MoE稀疏架构不同，稠密模型每次推理都会激活全部参数77% 相似待验证每次推理需要将模型权重加载到GPU显存并按Token逐步生成回答，GPT-4级别模型参数量通常在数千亿量级76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/291499

API

curl https://kongchang.com/api/v1/knowledge/claims/291499

MCP

get_claim(id=291499)