Token-Choice路由

PixelMoE直接采用LLM中标准的Token-Choice路由，保留一个共享专家，使用基于bias的负载均衡策略，没有设计扩散专属的路由机制或辅助路由目标函数。

Token-Choice路由中，路由网络为每个token生成对所有专家的打分，再选出Top-K个专家处理该token；其固有风险是专家利用率失衡，常见对策包括加性bias调整路由分数、辅助负载均衡损失、专家容量上限等。