[控场AI]
概念Half-Quadratic Quantization

HQQ

一种专为极低比特宽度设计的后训练量化方法,通过半二次优化框架最小化量化误差,在INT4精度下相比标准均匀量化能显著减少性能损失,适用于边缘设备部署

时间轴 (近 90 天)

9月25日

采用INT4 HQQ量化时,模型在处理西非口音时出现的灾难性转录循环被放大了5到7倍

待验证50%
9月25日

HQQ(Half-Quadratic Quantization)是一种专为极低比特宽度设计的后训练量化方法,通过半二次优化框架最小化量化误差

待验证50%

全部知识事实 (2)

来源文章