[控场AI]
已验证65% 置信事实时间未知

Meta的LLaMA系列、Google的Gemma、Mistral AI的Mistral/Mixtral、阿里的Qwen系列都在Transformers中获得支持

3
来源数
65%
置信度
长期有效
时效性
2026/6/1
首次发现

来源

Hugging Face Transformers：16万Star背后的技术架构与实战指南
githubhuggingface

涉及实体

MetacompanyLLaMAmodelGooglecompanyGemmamodelMistral AIcompanyMistralmodelMixtralmodel阿里companyQwenmodel

相关事实

待验证Google 的 Switch Transformer（2021）和 Mistral 的 Mixtral 8x7B（2023）都采用了稀疏 MoE 架构，即每次前向传播只激活少数几个专家67% 相似待验证Google的Switch Transformer和Mixtral 8x7B是MoE架构的经典代表，Qwen3、DeepSeek-V3等也采用了该架构65% 相似待验证Qwen系列自2023年首次发布以来已迭代多个版本，采用Transformer decoder-only架构60% 相似已验证Qwen（通义千问）由阿里云开发，基于Transformer Decoder架构60% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/32162
API
curl https://kongchang.com/api/v1/knowledge/claims/32162
MCP
get_claim(id=32162)