int8量化
将模型权重从16位浮点数量化为8位整数的模型压缩技术,可减少约一半显存占用并提升推理速度,但会引入微小精度损失。
时间轴 (近 90 天)
Elastic默认对float32向量做int8量化以降低内存占用,BBQ进一步将向量压缩到接近一位,disk BBQ几乎消除向量检索的内存开销。
int8量化可将向量体积压缩到float32的四分之一左右,但需要重新评测召回率确认精度损失可接受
int8运行内循环梯度会导致快权重发散;解法是内循环在设备上保持fp16,只量化前向路径。
模型加载分三类:Clip模型(选int8版本)、UNet大模型(minimax_h3_int8版本)、VAE解码器
采用Singularity ref2va int8检查点,通过int8量化降低显存占用
该实验采用int8量化、32步采样、1344×768分辨率的技术配置
int8量化是一种将神经网络权重从32位或16位浮点数压缩为8位整数的模型压缩技术,可将显存占用减少约50%-75%
全部知识事实 (7)
int8量化是一种将神经网络权重从32位或16位浮点数压缩为8位整数的模型压缩技术,可将显存占用减少约50%-75%
60%待验证Elastic默认对float32向量做int8量化以降低内存占用,BBQ进一步将向量压缩到接近一位,disk BBQ几乎消除向量检索的内存开销。
50%待验证int8量化可将向量体积压缩到float32的四分之一左右,但需要重新评测召回率确认精度损失可接受
50%待验证int8运行内循环梯度会导致快权重发散;解法是内循环在设备上保持fp16,只量化前向路径。
50%待验证模型加载分三类:Clip模型(选int8版本)、UNet大模型(minimax_h3_int8版本)、VAE解码器
50%待验证采用Singularity ref2va int8检查点,通过int8量化降低显存占用
50%待验证该实验采用int8量化、32步采样、1344×768分辨率的技术配置
50%