概念Expert Choice Routing
Expert Choice
MoE中的一种路由策略，由每个专家从所有token中选择固定数量的top-k进行处理，保证专家负载均衡但可能出现token被丢弃
时间轴 (近 90 天)
10月15日
Expert Choice路由中，每个专家根据自己的偏好从所有token中挑选固定数量的top-k token，专家维度的负载均衡在数学上严格保证，但可能出现某些token没有被任何专家选中的情况。
待验证50%
10月15日
在32专家微型字符模型的三轮对照实验中，Expert Choice路由取得了三轮中最低的评估损失。
待验证50%
10月15日
社区正在探索混合策略，如在Expert Choice基础上增加token覆盖约束，或使用可学习的路由温度来动态调整均衡程度。
待验证50%