[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Q-Mamba
针对Mamba模型循环状态的量化方案,在每个生成token后立即舍入状态,在四比特精度下性能低于PACE。
时间轴 (近 90 天)
10月22日
全程使用四比特头的PACE在同等内存下得分高于Q-Mamba。
待验证
50%
全部知识事实 (1)
待验证
全程使用四比特头的PACE在同等内存下得分高于Q-Mamba。
50%
来源文章
PACE:四比特循环状态量化新方法,让线性注意力模型更省内存
10月22日