Rethinking Routing Exploration in Modern Mixture-of-Experts

一篇研究混合专家（MoE）模型中路由探索问题的学术论文，提出细粒度专家切分与共享专家结合导致探索困境，并提出MirrorMoE方法。