MoT 将 MoE 的思想提升到模块级别，模型内部包含多个异构的 Transformer 子模块，每个子模块针对特定模态或任务类型进行设计，由路由机制根据输入类型和任务指令决定调用哪些子模块。