待验证50% 置信事实精确时间
MoE 架构模型每步只激活约 30–40 亿参数，因此能在保持高质量输出的同时跑出较高速度
1
来源数
50%
置信度
长期有效
时效性
2026/9/19
首次发现
来源
涉及实体
相关事实
待验证千问3.6的35B MOE模型每次只激活其中3B的参数75% 相似已验证Hy3采用混合专家（MoE）架构，总参数量达2950亿（295B），每次推理仅激活210亿（21B）参数72% 相似已验证Gemma 4的26B MOE模型采用混合专家架构，拥有260亿总参数但任意时刻仅约40亿参数处于激活状态70% 相似待验证MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别69% 相似已验证模型参数量越大，对量化的鲁棒性越强，使得70B级别模型在4-bit量化后仍能保持接近FP16的性能69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/933722API
curl https://kongchang.com/api/v1/knowledge/claims/933722MCP
get_claim(id=933722)