[控场AI]
概念

DAMP

一种线性注意力模型循环状态的量化方案,在每个生成token后立即对状态进行舍入,支持八比特精度,但四比特精度下存在累积误差问题。

时间轴 (近 90 天)

10月22日

混合四比特和八比特头的PACE在三个较大模型上与八比特DAMP表现相当,而内存占用仅为其约三分之二。

待验证50%

全部知识事实 (1)

来源文章