Jamba
AI21 Labs推出的混合架构大语言模型，将Transformer注意力层与Mamba SSM层交替堆叠，并引入MoE（混合专家）结构，兼顾长上下文能力与推理效率
时间轴 (近 90 天)
MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。
Inception Labs的扩散模型在代码任务上的tokens/秒远超任何Transformer甚至Jamba这类混合架构
已有Mamba-2及与Transformer混合的架构（如Jamba）问世，将注意力机制与SSM层交替叠加
混合注意力架构思路在Jamba（Mamba+Attention混合）和Zamba等模型中也有体现
AI21 Labs的Jamba在52B参数的MoE架构中交替使用Mamba层和注意力层，是最早的大规模商业混合模型之一
2024年涌现了多个线性或近线性复杂度序列模型，包括DeepMind的Griffin、AI21 Labs的Jamba、HGRN2和Stanford的Based
全部知识事实 (6)
AI21 Labs的Jamba在52B参数的MoE架构中交替使用Mamba层和注意力层，是最早的大规模商业混合模型之一
70%待验证MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。
50%待验证Inception Labs的扩散模型在代码任务上的tokens/秒远超任何Transformer甚至Jamba这类混合架构
50%待验证混合注意力架构思路在Jamba（Mamba+Attention混合）和Zamba等模型中也有体现
50%待验证2024年涌现了多个线性或近线性复杂度序列模型，包括DeepMind的Griffin、AI21 Labs的Jamba、HGRN2和Stanford的Based
50%待验证已有Mamba-2及与Transformer混合的架构（如Jamba）问世，将注意力机制与SSM层交替叠加
50%