概念MoT

Mixture of Transformers

一种在单一模型内组合多个异构Transformer子模块的架构，每个子模块针对特定模态或任务类型设计，通过路由机制根据输入类型和任务指令动态调用，实现多任务统一并避免任务间负迁移

时间轴 (近 90 天)

10月13日

SenseNova-Vision-7B-MoT 中的 MoT 指 Mixture of Transformers，这种架构在单一模型内组合不同类型的专家模块，使其能够处理视觉-语言的多任务输入输出。

待验证50%

10月13日

MoT 将 MoE 的思想提升到模块级别，模型内部包含多个异构的 Transformer 子模块，每个子模块针对特定模态或任务类型进行设计，由路由机制根据输入类型和任务指令决定调用哪些子模块。

待验证50%

SenseNova-Vision-7B-MoT 中的 MoT 指 Mixture of Transformers，这种架构在单一模型内组合不同类型的专家模块，使其能够处理视觉-语言的多任务输入输出。