Unverified50% confidenceFactExact time
Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构
1
Sources
50%
Confidence
Long-term
Relevance
9/3/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedGoogle 的 Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）都采用了稀疏 MoE 架构，即每次前向传播只激活少数几个专家74% similarUnverifiedSwitch Transformer和Mixtral系列广泛采用了MoE架构73% similarVerifiedQwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术69% similarUnverifiedMoE架构的典型代表包括Mixtral 8x7B和DeepSeek-V265% similarUnverifiedQwen（通义千问）由阿里云开发，基于Transformer Decoder架构65% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/848675API
curl https://kongchang.com/api/v1/knowledge/claims/848675MCP
get_claim(id=848675)