[控场AI]
概念INT8 / 8位整数量化

int8量化

将模型权重从16位浮点数量化为8位整数的模型压缩技术,可减少约一半显存占用并提升推理速度,但会引入微小精度损失。

时间轴 (近 90 天)

10月19日

Elastic默认对float32向量做int8量化以降低内存占用,BBQ进一步将向量压缩到接近一位,disk BBQ几乎消除向量检索的内存开销。

待验证50%
10月18日

int8量化可将向量体积压缩到float32的四分之一左右,但需要重新评测召回率确认精度损失可接受

待验证50%
10月17日

int8运行内循环梯度会导致快权重发散;解法是内循环在设备上保持fp16,只量化前向路径。

待验证50%
9月16日

模型加载分三类:Clip模型(选int8版本)、UNet大模型(minimax_h3_int8版本)、VAE解码器

待验证50%
9月14日

采用Singularity ref2va int8检查点,通过int8量化降低显存占用

待验证50%
9月11日

该实验采用int8量化、32步采样、1344×768分辨率的技术配置

待验证50%
9月11日

int8量化是一种将神经网络权重从32位或16位浮点数压缩为8位整数的模型压缩技术,可将显存占用减少约50%-75%

待验证60%

全部知识事实 (7)

来源文章