MoE 模型的代价是显存仍需容纳全部专家权重，且训练和推理时对专家路由的负载均衡、通信带宽有较高要求，通常需要专门的基础设施配套。