[控场AI]
模型SSD-MIMO

SSD-MIMO

基于状态空间对偶的MIMO变体,当局部检索秩大于一时为每个秩路由独立的值,避免通道间信息混叠。

时间轴 (近 90 天)

11月3日

Mamba 3的MIMO构造在每个局部接口上提升一个值;SSD-MIMO为局部检索秩大于一的情况路由独立的值。

待验证50%
11月3日

在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。

已过期50%
11月3日

在约5亿参数、2B token的单种子语言模型上,HybridMamba和SSD-MIMO在测试损失上优于Mamba 1/2,但路由带来的增益并未转化为更低的语言模型损失。

已过期50%

全部知识事实 (1)

来源文章