待验证50% 置信concept_definition精确时间

稀疏 MoE 指前馈层被拆成多个专家，每个 token 只激活其中一小部分，因此 32.9B 总参数每次前向实际计算的参数量远小于稠密模型，但显存仍需容纳全部专家权重。

1

来源数

50%

置信度

长期有效

时效性

2026/10/16

首次发现

来源

开源权重模型能当Agent廉价层吗？实测出炉

涉及实体

稀疏 MoEconcept

相关事实

待验证MoE稀疏架构每次前向传播只激活全部专家中的一小部分，在不成比例增加计算量的前提下大幅扩大模型参数量78% 相似已验证MoE架构每次仅路由激活少量专家（通常为2-8个），可用较低计算量运行远超同等算力密集模型的总参数规模77% 相似已验证混合专家架构(MoE)每次推理时只激活其中少数几个与当前任务最相关的专家，从而在保持总参数量的同时大幅减少每次推理的实际计算量76% 相似待验证K2.5的MoE架构单次推理实际激活的参数量可能只有总参数的1/8甚至更少72% 相似待验证MoE模型量化面临额外挑战，因不同专家权重分布差异大，统一量化方案易导致部分专家精度严重下降72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1047904

API

curl https://kongchang.com/api/v1/knowledge/claims/1047904

MCP

get_claim(id=1047904)