[控场AI]
模型Mamba 3

Mamba 3

状态空间模型架构的第三代版本,采用多输入多输出(MIMO)构造,支持复数旋转与双端点写入,提升局部检索秩以增强表达能力。

时间轴 (近 90 天)

11月3日

Mamba 3的MIMO构造在每个局部接口上提升一个值;SSD-MIMO为局部检索秩大于一的情况路由独立的值。

待验证50%
11月3日

HybridMamba组合了Mamba 1的逐坐标衰减、Mamba 2风格的头结构以及Mamba 3的复数旋转与双端点写入,混合实数状态块与不同衰减律的旋转状态块。

待验证50%
11月3日

Mamba 1-3的SISO配置可作为HybridMamba的精确特例被恢复。

待验证50%
11月3日

检索秩指模型在局部接口上能够并行写入和读取的独立值通道数,是区分Mamba 1、Mamba 2、Mamba 3及HybridMamba等变体的关键结构维度。

待验证50%
11月3日

在五个H100 bfloat16大规模工作负载上,作者实现的融合GPU内核在匹配的SISO恢复配置下,相对官方Mamba 1/3提升了训练时间的几何平均值。

已过期50%
11月3日

在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。

已过期50%

全部知识事实 (4)

来源文章