[控场AI]
概念SSM

状态空间模型(SSM)

一类以线性递推方式处理序列的神经网络架构,通过随时间演化的隐藏状态压缩历史信息,单步解码计算量与序列长度无关,显存占用恒定。代表模型有 Mamba、Mamba-2 等。

核心事实

时间轴 (近 90 天)

11月11日

SSM的核心递推形式为 h_t = A_t h_{t-1} + B_t x_t,输出 y_t = C_t h_t。

待验证50%
11月11日

SSM在需要上下文学习和精确检索的任务上始终落后于Transformer。

待验证50%
11月8日

状态空间模型(SSM)用隐状态递推描述序列演化,其连续时间形式可离散化为线性递推,以线性复杂度处理长序列。

已验证80%
10月18日

SSM 对超长上下文中的精确检索能力仍有争议。

待验证50%
10月18日

相比 Transformer 的二次复杂度,SSM 在长序列建模上具有线性时间复杂度与恒定推理内存的优势。

待验证50%
10月15日

状态空间模型(SSM)如 Mamba 系列遵循同样的递推范式:固定状态无法无损保留所有历史细节,早期信息会被后续更新覆写。

已验证75%
10月14日

多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。

待验证70%
10月6日

状态空间模型(SSM)把方向拉回固定大小的循环记忆,但使用不同的状态结构和更新规则

已验证75%

全部知识事实 (8)

来源文章