概念shared experts
共享专家
MoE架构中的一种设计，设置一部分专家对所有token都激活而不参与路由选择，旨在承载通用知识并减轻路由专家的通用性负担。
时间轴 (近 90 天)
10月16日
共享专家对所有token输出相同变换，相当于在每层对token表示施加共性投影，经多层累积会压缩不同token表示的差异，使路由网络输入更同质化。
待验证50%
10月16日
《Rethinking Routing Exploration in Modern Mixture-of-Experts》论文指出，细粒度专家切分与共享专家组合时会产生探索困境，互相削弱。
待验证50%
10月16日
论文核心判断认为，细粒度切分提供的额外表达能力在共享专家的压制下可能并未被真正兑现。
待验证50%
10月16日
共享专家产生的公共分量有助于稳定训练和承载通用知识，但会提高不同token表示之间的相似度。
待验证50%
9月9日
共享专家每次都被激活，不参与Top-K选择，用于提取所有Token都需要的通用基础能力
待验证50%
9月9日
DeepSeek-V2采用了1个共享专家加多个路由专家的配置，取得了优于纯路由MoE的效果
待验证50%
全部知识事实 (6)
待验证
共享专家对所有token输出相同变换，相当于在每层对token表示施加共性投影，经多层累积会压缩不同token表示的差异，使路由网络输入更同质化。
50%待验证《Rethinking Routing Exploration in Modern Mixture-of-Experts》论文指出，细粒度专家切分与共享专家组合时会产生探索困境，互相削弱。
50%待验证论文核心判断认为，细粒度切分提供的额外表达能力在共享专家的压制下可能并未被真正兑现。
50%待验证共享专家产生的公共分量有助于稳定训练和承载通用知识，但会提高不同token表示之间的相似度。
50%待验证共享专家每次都被激活，不参与Top-K选择，用于提取所有Token都需要的通用基础能力
50%待验证DeepSeek-V2采用了1个共享专家加多个路由专家的配置，取得了优于纯路由MoE的效果
50%