模型SSD-MIMO
SSD-MIMO
基于状态空间对偶的MIMO变体,当局部检索秩大于一时为每个秩路由独立的值,避免通道间信息混叠。
时间轴 (近 90 天)
11月3日
Mamba 3的MIMO构造在每个局部接口上提升一个值;SSD-MIMO为局部检索秩大于一的情况路由独立的值。
待验证50%
11月3日
在小模型多token召回实验中,HybridMamba和SSD-MIMO两种设计在最难层级上均优于Mamba 1-3。
已过期50%
11月3日
在约5亿参数、2B token的单种子语言模型上,HybridMamba和SSD-MIMO在测试损失上优于Mamba 1/2,但路由带来的增益并未转化为更低的语言模型损失。
已过期50%