负载均衡损失最常见的形式是辅助损失（auxiliary loss），以Switch Transformer为代表，公式为L_balance = α · N · Σ(f_i · p_i)，其中N为专家数，α为损失系数。