状态空间模型(SSM)
一类以线性递推方式处理序列的神经网络架构,通过随时间演化的隐藏状态压缩历史信息,单步解码计算量与序列长度无关,显存占用恒定。代表模型有 Mamba、Mamba-2 等。
核心事实
时间轴 (近 90 天)
SSM的核心递推形式为 h_t = A_t h_{t-1} + B_t x_t,输出 y_t = C_t h_t。
SSM在需要上下文学习和精确检索的任务上始终落后于Transformer。
状态空间模型(SSM)用隐状态递推描述序列演化,其连续时间形式可离散化为线性递推,以线性复杂度处理长序列。
SSM 对超长上下文中的精确检索能力仍有争议。
相比 Transformer 的二次复杂度,SSM 在长序列建模上具有线性时间复杂度与恒定推理内存的优势。
状态空间模型(SSM)如 Mamba 系列遵循同样的递推范式:固定状态无法无损保留所有历史细节,早期信息会被后续更新覆写。
多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。
状态空间模型(SSM)把方向拉回固定大小的循环记忆,但使用不同的状态结构和更新规则
全部知识事实 (8)
状态空间模型(SSM)用隐状态递推描述序列演化,其连续时间形式可离散化为线性递推,以线性复杂度处理长序列。
80%已验证状态空间模型(SSM)如 Mamba 系列遵循同样的递推范式:固定状态无法无损保留所有历史细节,早期信息会被后续更新覆写。
75%已验证状态空间模型(SSM)把方向拉回固定大小的循环记忆,但使用不同的状态结构和更新规则
75%待验证多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。
70%待验证SSM的核心递推形式为 h_t = A_t h_{t-1} + B_t x_t,输出 y_t = C_t h_t。
50%待验证SSM在需要上下文学习和精确检索的任务上始终落后于Transformer。
50%待验证相比 Transformer 的二次复杂度,SSM 在长序列建模上具有线性时间复杂度与恒定推理内存的优势。
50%待验证SSM 对超长上下文中的精确检索能力仍有争议。
50%