待验证50% 置信事实精确时间
Qwen4所用架构的主模型为125B参数，每个Token只激活6B，采用MoE架构，包含512个专家，原生上下文262K。
1
来源数
50%
置信度
长期有效
时效性
2026/10/29
首次发现
来源
Qwen4架构预览已开源：125B参数、512专家，专为显存受限硬件设计
bilibili九物AI生产力2026/10/29
涉及实体
相关事实
待验证Qwen3.8-Flash-Next为48层结构，每层512个专家，180B级参数（125B主体+51B N-gram表+4B MTP）76% 相似待验证Qwen系列模型由阿里巴巴通义实验室开发，4B和27B代表参数规模74% 相似待验证LFM2.5-24B-A2B 总参数量为 240 亿，采用 MoE 架构，每区块 64 个专家、Top-4 动态路由，每个 token 仅激活 24.5 亿参数。73% 相似部分验证Qwen 3 Max和DeepSeek-V3均采用MoE架构，总参数量达数千亿，但实际推理激活参数仅为总量的一小部分72% 相似待验证Qwen3.5-122B-A10B 是一个总参数量约 122B、激活参数约 10B 的 MoE 架构模型，每次推理仅激活约 100 亿参数72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1112067API
curl https://kongchang.com/api/v1/knowledge/claims/1112067MCP
get_claim(id=1112067)