待验证50% 置信事实精确时间

MoE模型推理瓶颈主要在KV Cache读写(受显存带宽限制)和MoE路由专家的GEMM计算(形状不规整的计算密集型任务)两处

1

来源数

50%

置信度

长期有效

时效性

2026/10/3

首次发现

来源

DeepSeek开源DeepGEMM昇腾版：国产NPU利用率飙至99.8%

涉及实体

MoEconcept GEMMconcept

相关事实

已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量74% 相似待验证MoE架构通过稀疏激活实现参数规模与计算成本的解耦，Mixtral、DeepSeek等模型已在实践中验证其可行性74% 相似已验证MoE 的大容量小激活设计使模型知识容量与推理成本得以解耦74% 相似已验证MoE模型所有专家参数都需驻留内存（即便不被激活），这也是三元量化对MoE格外重要的原因70% 相似已验证大模型推理阶段是memory-bound（内存带宽受限），每生成一个Token需从显存读取整个模型权重，计算强度极低70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/970646

API

curl https://kongchang.com/api/v1/knowledge/claims/970646

MCP

get_claim(id=970646)