概念MoT
Mixture-of-Transformers
一种Transformer混合架构，并行运行多种专家类型（如自回归和非自回归），它们共享注意力计算但使用独立的归一化、投影和前馈层
时间轴 (近 90 天)
10月16日
Mixture-of-Transformers（MoT）是一种在共享主干权重的基础上，为不同模态或任务配置独立的注意力或归一化适配模块的 Transformer 架构变体。
待验证50%
10月15日
Ask4NV 是一个构建在预训练统一多模态模型之上的新视角生成方法，采用 Mixture-of-Transformers（MoT）架构。
待验证50%
10月15日
Mixture-of-Transformers（MoT）为每种模态保留独立的 Transformer 分支，允许在指定层通过跨模态注意力进行信息交互。
待验证50%
10月14日
YuE2 底层使用 28 层的 Mixture-of-Transformers（MoT）架构，并行运行自回归（AR）和非自回归（NAR）两种专家类型，它们共享注意力计算但使用独立的归一化、投影和前馈层。
待验证50%
全部知识事实 (4)
待验证
Mixture-of-Transformers（MoT）是一种在共享主干权重的基础上，为不同模态或任务配置独立的注意力或归一化适配模块的 Transformer 架构变体。
50%待验证Ask4NV 是一个构建在预训练统一多模态模型之上的新视角生成方法，采用 Mixture-of-Transformers（MoT）架构。
50%待验证Mixture-of-Transformers（MoT）为每种模态保留独立的 Transformer 分支，允许在指定层通过跨模态注意力进行信息交互。
50%待验证YuE2 底层使用 28 层的 Mixture-of-Transformers（MoT）架构，并行运行自回归（AR）和非自回归（NAR）两种专家类型，它们共享注意力计算但使用独立的归一化、投影和前馈层。
50%