[控场AI]
概念

VLCQ

VLCQ是一种基于变长编码的训练后量化方法,放弃定点整数编码约束,用变长编码表示量化数值,在无需训练数据或微调的情况下平衡高压缩率和精度。

时间轴 (近 90 天)

10月14日

论文《VLCQ: Post-training quantization for deep neural networks using variable length coding》提出了使用变长编码进行训练后量化的方法,不需要访问训练数据或微调模型。

待验证50%
10月14日

VLCQ属于完全data-free的PTQ,不需要校准数据,适合训练数据因隐私、版权或采集成本而无法获取的场景。

待验证50%
10月14日

VLCQ通过变长编码表示量化后的数值,使得数值分布密集的区域可以用更精细的编码,稀疏区域用更短的编码。

待验证50%
10月14日

VLCQ在图像分类、分割和目标检测三类任务上进行了实验,在per-channel量化方面多数模型上超过了FP32精度和PWLQ,相比FP32实现最高6倍压缩,相比PWLQ实现最高1.7倍压缩。

待验证50%
10月14日

当压缩优先级更高、容忍有限精度损失时,VLCQ相比FP32可达到最高12.25倍压缩,性能下降控制在4%以内。

待验证50%
10月14日

在per-tensor量化方面,VLCQ与Data-Free Quantization(DFQ)表现相当,但在不同任务和模型上提供更大的灵活性。

待验证50%
10月14日

PWLQ与DFQ都没有跳出固定码长这一前提,而VLCQ改变了编码机制本身。

待验证50%
10月14日

变长编码带来编解码复杂度增加,解码开销可能抵消存储收益,论文未详细讨论硬件友好程度。

待验证50%

全部知识事实 (8)

来源文章