专家并行（Expert Parallelism）将不同专家放置在不同设备上，token 经路由后被发送到对应设备计算，批次为 1 时跨设备通信延迟占比很高。