模型Mamba 1
Mamba 1
状态空间模型架构的初代版本,采用逐坐标衰减和单输入单输出(SISO)配置。
时间轴 (近 90 天)
11月3日
HybridMamba组合了Mamba 1的逐坐标衰减、Mamba 2风格的头结构以及Mamba 3的复数旋转与双端点写入,混合实数状态块与不同衰减律的旋转状态块。
待验证50%
11月3日
Mamba 1-3的SISO配置可作为HybridMamba的精确特例被恢复。
待验证50%
11月3日
检索秩指模型在局部接口上能够并行写入和读取的独立值通道数,是区分Mamba 1、Mamba 2、Mamba 3及HybridMamba等变体的关键结构维度。
待验证50%
11月3日
在五个H100 bfloat16大规模工作负载上,作者实现的融合GPU内核在匹配的SISO恢复配置下,相对官方Mamba 1/3提升了训练时间的几何平均值。
已过期50%
11月3日
在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。
已过期50%
11月3日
在约5亿参数、2B token的单种子语言模型上,HybridMamba和SSD-MIMO在测试损失上优于Mamba 1/2,但路由带来的增益并未转化为更低的语言模型损失。
已过期50%