概念Multi-gate Mixture-of-Experts / 多门混合专家

MMoE

一种多任务学习架构，在共享层放置多个专家子网络，每个任务使用独立门控网络加权组合专家输出，以缓解任务冲突并保留参数共享收益。

时间轴 (近 90 天)

10月22日

MMoE（Multi-gate Mixture-of-Experts）由 Google 在 2018 年提出，核心是在共享层放置多个专家子网络，每个任务拥有独立门控网络对专家输出加权组合。

待验证50%

10月22日

相比 Hard Parameter Sharing，MMoE 在多任务相关性较弱时通常表现更稳，但结构更复杂、训练成本更高，且门控权重需要足够数据才能学好。

待验证50%

MMoE（Multi-gate Mixture-of-Experts）由 Google 在 2018 年提出，核心是在共享层放置多个专家子网络，每个任务拥有独立门控网络对专家输出加权组合。

相比 Hard Parameter Sharing，MMoE 在多任务相关性较弱时通常表现更稳，但结构更复杂、训练成本更高，且门控权重需要足够数据才能学好。