待验证60% 置信事实精确时间
Google的Switch Transformer、Mistral的Mixtral 8x7B以及据报道的GPT-4架构均采用稀疏MoE设计，推理时只激活部分参数
2
来源数
60%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
混合专家系统能否超越单一大模型？Hermes 2.0架构深度解析
bilibili赛博门外憨2026/7/9
相关事实
已验证GPT、BERT、ChatGPT等现代AI系统均以Transformer为核心架构72% 相似待验证GPT-6 Astra 被猜测采用了循环 Transformer 架构，即在输出一个 token 之前执行多次前向传播71% 相似已验证GPT系列采用Transformer的解码器（Decoder-only）变体，通过自回归方式逐Token预测下一个词71% 相似待验证Transformer 架构由 Google 于2017年提出，ChatGPT 基于 GPT 架构并通过 RLHF 对齐人类偏好70% 相似待验证GPT系列、LLaMA、Gemini等主流模型均基于Transformer的解码器（Decoder-only）变体70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/493409API
curl https://kongchang.com/api/v1/knowledge/claims/493409MCP
get_claim(id=493409)