专家并行（EP）

常见于混合专家（MoE）模型的一种并行策略，将不同的专家子网络分布到不同设备上，每个token根据路由结果被发送到对应专家设备进行计算，能扩展模型容量但通信模式复杂。