概念
DAMP
一种线性注意力模型循环状态的量化方案,在每个生成token后立即对状态进行舍入,支持八比特精度,但四比特精度下存在累积误差问题。
时间轴 (近 90 天)
10月22日
混合四比特和八比特头的PACE在三个较大模型上与八比特DAMP表现相当,而内存占用仅为其约三分之二。
待验证50%
一种线性注意力模型循环状态的量化方案,在每个生成token后立即对状态进行舍入,支持八比特精度,但四比特精度下存在累积误差问题。
混合四比特和八比特头的PACE在三个较大模型上与八比特DAMP表现相当,而内存占用仅为其约三分之二。