[控场AI]
概念selective scan

选择性扫描

选择性扫描是 Mamba 系列状态空间模型的核心运算,离散化参数随每个 token 动态变化,使模型能根据内容选择保留或遗忘历史状态,前向计算沿序列维度递推。

时间轴 (近 90 天)

10月19日

选择性扫描是 Mamba 系列 SSM 的核心运算,其离散化参数 Δ、输入矩阵 B 和输出矩阵 C 都随每个 token 动态变化。

待验证50%
10月19日

选择性扫描的前向计算是一个沿序列维度的递推:h_t = A_bar_t · h_{t-1} + B_bar_t · x_t,其中 A_bar、B_bar 由 Δ 决定。

待验证50%
10月19日

由于递推存在严格的时间依赖,选择性扫描无法像注意力那样一次性并行计算全部位置,必须借助分块扫描或并行前缀和算法把串行链拆解为块内并行与块间传递两阶段。

待验证50%

全部知识事实 (3)

来源文章