[控场AI]
模型Mamba 1

Mamba 1

状态空间模型架构的初代版本,采用逐坐标衰减和单输入单输出(SISO)配置。

时间轴 (近 90 天)

11月3日

HybridMamba组合了Mamba 1的逐坐标衰减、Mamba 2风格的头结构以及Mamba 3的复数旋转与双端点写入,混合实数状态块与不同衰减律的旋转状态块。

待验证50%
11月3日

Mamba 1-3的SISO配置可作为HybridMamba的精确特例被恢复。

待验证50%
11月3日

检索秩指模型在局部接口上能够并行写入和读取的独立值通道数,是区分Mamba 1、Mamba 2、Mamba 3及HybridMamba等变体的关键结构维度。

待验证50%
11月3日

在五个H100 bfloat16大规模工作负载上,作者实现的融合GPU内核在匹配的SISO恢复配置下,相对官方Mamba 1/3提升了训练时间的几何平均值。

已过期50%
11月3日

在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。

已过期50%
11月3日

在约5亿参数、2B token的单种子语言模型上,HybridMamba和SSD-MIMO在测试损失上优于Mamba 1/2,但路由带来的增益并未转化为更低的语言模型损失。

已过期50%

全部知识事实 (3)

来源文章