已验证65% 置信基准精确时间
Mistral的Mixtral 8x7B模型通过稀疏激活机制,每次推理仅激活8个专家中的2个,以约13B参数的计算成本达到接近Llama 2 70B的性能水平
3
来源数
65%
置信度
长期有效
时效性
2026/8/10
首次发现
来源
相关事实
待验证Mixtral 8x7B总参数约46.7B,每次前向传播仅激活约12.9B参数,推理计算量比同等性能密集模型降低约60%74% 相似待验证Mixtral 8x7B等MoE模型实现了接近70B模型的效果,却只需约13B模型的推理成本70% 相似待验证领域微调后的7B模型在任务准确率上往往超越未经微调的70B通用模型,同时推理成本降低一个数量级69% 相似待验证M2.5采用混合专家架构(Mixture of Experts,MoE),每次推理只有10B参数真正参与计算,总参数量可能远超10B62% 相似待验证参数量更大、推理步骤更多的模型,其GPU算力消耗可能是轻量模型的10-50倍62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/723534API
curl https://kongchang.com/api/v1/knowledge/claims/723534MCP
get_claim(id=723534)