概念Half-Quadratic Quantization
HQQ
一种专为极低比特宽度设计的后训练量化方法,通过半二次优化框架最小化量化误差,在INT4精度下相比标准均匀量化能显著减少性能损失,适用于边缘设备部署
时间轴 (近 90 天)
9月25日
采用INT4 HQQ量化时,模型在处理西非口音时出现的灾难性转录循环被放大了5到7倍
待验证50%
9月25日
HQQ(Half-Quadratic Quantization)是一种专为极低比特宽度设计的后训练量化方法,通过半二次优化框架最小化量化误差
待验证50%