模型Mamba2 8B

Mamba2-8B

基于Mamba2状态空间架构的80亿参数序列建模模型，核心优势是线性时间复杂度和恒定大小的状态表示，推理缓存不随上下文长度增长。

时间轴 (近 90 天)

10月16日

Reddit社区出现了一项关于Mamba2-8B模型压缩的研究系列，探索了27.18 MiB循环缓存和3.141 GB完整模型数据存储两种策略。

已过期50%

10月16日

27.18 MiB约等于2270万字节，若按8比特存储，相当于约2270万个参数，仅占8B模型的0.28%。

待验证50%

10月16日

循环缓存的体积仅为完整模型的约0.86%。

待验证50%

10月16日

27.18 MiB的缓存大小使得Mamba2-8B有可能运行在高端移动设备甚至嵌入式系统上。

待验证50%

10月16日

社区仍需关注压缩后模型的质量损失，包括27.18 MiB缓存是否能保持原始模型的推理质量，以及3.141 GB存储版本与未压缩版本的性能差异。

待验证50%

27.18 MiB约等于2270万字节，若按8比特存储，相当于约2270万个参数，仅占8B模型的0.28%。

循环缓存的体积仅为完整模型的约0.86%。

27.18 MiB的缓存大小使得Mamba2-8B有可能运行在高端移动设备甚至嵌入式系统上。

社区仍需关注压缩后模型的质量损失，包括27.18 MiB缓存是否能保持原始模型的推理质量，以及3.141 GB存储版本与未压缩版本的性能差异。