待验证50% 置信事实精确时间

Mixtral 8×7B、DeepSeek-MoE等模型已验证了MoE范式扩展总参数而维持激活参数不变的有效性

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

零预算训练CPU原生大模型：三元量化×稀疏MoE的架构豪赌

相关事实

部分验证Mixtral 8x7B采用了混合专家（MoE）架构，在推理时只激活部分参数80% 相似待验证Mixtral系列采用稀疏混合专家架构（Sparse Mixture of Experts, MoE），在激活参数受限的前提下扩展模型容量71% 相似已验证混合专家架构MoE通过稀疏激活机制，推理时只激活模型总参数的1/8至1/471% 相似待验证前沿模型常采用混合专家架构（MoE）在推理时只激活部分参数，以平衡速度与质量67% 相似待验证jlens-gguf同时支持稠密（Dense）模型和混合专家（MoE）模型66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/538390

API

curl https://kongchang.com/api/v1/knowledge/claims/538390

MCP

get_claim(id=538390)