待验证50% 置信事实精确时间
传统端侧 MoE 推理的瓶颈往往在存储带宽而非算力，因为专家权重体积庞大无法全部常驻内存，每次路由到新专家都需要从闪存加载。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
iPhone跑35B MoE达20.5 tok/s：不跳专家的调度魔法
redditr/LocalLLaMA2026/10/21
涉及实体
相关事实
待验证MoE模型服务时的主要瓶颈在于专家路由带来的不规则访存与负载不均，需要调度器与kernel协同处理。76% 相似待验证MoE架构面临专家负载不均衡问题，不同专家被激活的频率差异悬殊，容易造成部分设备空闲、部分设备过载75% 相似待验证MoE 的 Top-K 路由策略容易导致少数专家被过度使用（专家坍缩问题），需引入辅助负载均衡损失函数等技术解决75% 相似已验证MoE模型虽然推理快，但对显存和内存的容量要求更高，因为需要加载全部专家参数，存在速度与容量的权衡73% 相似待验证MoE通过稀疏激活，每次处理token时路由网络选择Top-K个专家（通常K=2）进行计算，其余专家不参与运算73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1081664API
curl https://kongchang.com/api/v1/knowledge/claims/1081664MCP
get_claim(id=1081664)