模型
MiniMax-01
MiniMax推出的混合架构模型，采用7:1或8:1的线性对注意力比例，叠加MoE结构优化参数效率
时间轴 (近 90 天)
10月14日
MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。
待验证50%
MiniMax推出的混合架构模型，采用7:1或8:1的线性对注意力比例，叠加MoE结构优化参数效率
MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。