待验证60% 置信事实精确时间

MoE架构通过路由器动态选择少数专家参与计算，实现稀疏激活，GPT-4、Mistral、DeepSeek等主流前沿模型均采用类似设计

2

来源数

60%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

腾讯混元HY3正式版开源：300B以下最强，1元/百万tokens

bilibiliinfinite灵感港2026/7/6

相关事实

待验证GPT-4、Mistral等大语言模型已通过MoE架构将不同输入路由至专门化的子网络处理79% 相似已验证GPT-4和Mixtral等主流大模型也采用了MoE架构78% 相似待验证MoE架构总参数量可极大但每次推理仅激活一小部分参数，以GPT-4、Mixtral、Gemini为代表的顶级模型均采用该架构78% 相似待验证分层模型策略将 GPT-4o 等高能力模型用于规划决策节点，中间执行步骤使用 GPT-4o-mini 或本地开源模型（如 Llama 3）以控制成本75% 相似待验证业界普遍认为GPT-4引入了混合专家（MoE）机制，每次推理时动态路由激活部分专家子网络74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/465551

API

curl https://kongchang.com/api/v1/knowledge/claims/465551

MCP

get_claim(id=465551)