模型Mamba 2
Mamba 2
状态空间模型架构的第二代版本,引入头结构等改进,优化训练和推理效率。
时间轴 (近 90 天)
11月3日
HybridMamba组合了Mamba 1的逐坐标衰减、Mamba 2风格的头结构以及Mamba 3的复数旋转与双端点写入,混合实数状态块与不同衰减律的旋转状态块。
待验证50%
11月3日
Mamba 1-3的SISO配置可作为HybridMamba的精确特例被恢复。
待验证50%
11月3日
检索秩指模型在局部接口上能够并行写入和读取的独立值通道数,是区分Mamba 1、Mamba 2、Mamba 3及HybridMamba等变体的关键结构维度。
待验证50%
11月3日
在五个H100 bfloat16大规模工作负载上,作者实现的融合GPU内核在SSM核心范围内与Mamba 2的表现接近持平。
已过期50%
11月3日
在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。
已过期50%
11月3日
在约5亿参数、2B token的单种子语言模型上,HybridMamba和SSD-MIMO在测试损失上优于Mamba 1/2,但路由带来的增益并未转化为更低的语言模型损失。
已过期50%