模型Mamba 3
Mamba 3
状态空间模型架构的第三代版本,采用多输入多输出(MIMO)构造,支持复数旋转与双端点写入,提升局部检索秩以增强表达能力。
时间轴 (近 90 天)
11月3日
Mamba 3的MIMO构造在每个局部接口上提升一个值;SSD-MIMO为局部检索秩大于一的情况路由独立的值。
待验证50%
11月3日
HybridMamba组合了Mamba 1的逐坐标衰减、Mamba 2风格的头结构以及Mamba 3的复数旋转与双端点写入,混合实数状态块与不同衰减律的旋转状态块。
待验证50%
11月3日
Mamba 1-3的SISO配置可作为HybridMamba的精确特例被恢复。
待验证50%
11月3日
检索秩指模型在局部接口上能够并行写入和读取的独立值通道数,是区分Mamba 1、Mamba 2、Mamba 3及HybridMamba等变体的关键结构维度。
待验证50%
11月3日
在五个H100 bfloat16大规模工作负载上,作者实现的融合GPU内核在匹配的SISO恢复配置下,相对官方Mamba 1/3提升了训练时间的几何平均值。
已过期50%
11月3日
在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。
已过期50%