Token Choice

Token Choice路由中，每个token从N个专家中选出得分最高的top-k个专家进行处理，天然保证每个token被至少一个专家处理，但无法控制各专家接收的token数量。

在32专家微型字符模型的实验中，Token Choice路由无负载均衡损失时，训练早期单个专家吞掉了57%的token，32个专家中有17个几乎无人问津。