Mamba2
基于状态空间模型（SSM）的高效序列建模架构，将状态维度与输入通道绑定，支持矩阵乘法形式并行计算，具有线性复杂度和常数级推理显存占用，是长上下文场景中 Transformer 的替代或补充方案。
时间轴 (近 90 天)
Mamba2 chunk scan kernel 在 SM90 上产生 NaN 的问题，很可能属于由架构差异触发的数值稳定性缺陷。
vLLM 发布了 v0.32.0rc3 版本，其中包含修复 Mamba2 chunk scan kernel 在 NVIDIA SM90 架构上产生 NaN 输出的 Bugfix。
Mamba2 是一种基于状态空间模型（SSM）的序列建模架构，将 SSM 状态维度与输入通道绑定，并将逐时间步串行递推重写为矩阵乘法形式，可利用 GPU Tensor Core 并行计算。
Mamba2 的 chunk scan 机制采用块内并行与块间串行的两阶段策略，使并行度从序列长度级降低到块数量级。
Mamba2在Mamba的基础上引入了更结构化的状态空间对偶形式，使递归计算与并行扫描能够更高效地结合，并改善了硬件利用率。
Mamba2架构具有线性时间复杂度和恒定大小的状态表示，其状态表示不随序列长度增长。
Transformer的KV缓存大小随序列长度线性增长，而Mamba2的递归状态缓存大小与上下文长度无关，只取决于状态维度和层数。
Mamba2保持线性时间复杂度和恒定状态大小，因此在长序列场景中具有理论优势。
针对 gated-delta、Mamba2 和短卷积等混合架构模型，样本打包得到改进并修正了打包逻辑问题
全部知识事实 (9)
Mamba2 chunk scan kernel 在 SM90 上产生 NaN 的问题，很可能属于由架构差异触发的数值稳定性缺陷。
50%待验证Mamba2 的 chunk scan 机制采用块内并行与块间串行的两阶段策略，使并行度从序列长度级降低到块数量级。
50%待验证Mamba2 是一种基于状态空间模型（SSM）的序列建模架构，将 SSM 状态维度与输入通道绑定，并将逐时间步串行递推重写为矩阵乘法形式，可利用 GPU Tensor Core 并行计算。
50%待验证Mamba2保持线性时间复杂度和恒定状态大小，因此在长序列场景中具有理论优势。
50%待验证Mamba2在Mamba的基础上引入了更结构化的状态空间对偶形式，使递归计算与并行扫描能够更高效地结合，并改善了硬件利用率。
50%待验证Mamba2架构具有线性时间复杂度和恒定大小的状态表示，其状态表示不随序列长度增长。
50%待验证Transformer的KV缓存大小随序列长度线性增长，而Mamba2的递归状态缓存大小与上下文长度无关，只取决于状态维度和层数。
50%待验证针对 gated-delta、Mamba2 和短卷积等混合架构模型，样本打包得到改进并修正了打包逻辑问题
50%待验证vLLM 发布了 v0.32.0rc3 版本，其中包含修复 Mamba2 chunk scan kernel 在 NVIDIA SM90 架构上产生 NaN 输出的 Bugfix。
50%