量化感知训练
一种模型量化训练方法,模型在训练阶段就模拟量化操作,保留全精度权重副本同时练习舍入,使模型适应极端压缩
核心事实
时间轴 (近 90 天)
BitNet b1.58不是训练后量化,而是训练时就让模型适应三值权重表示,无法对现有模型直接套用。
量化感知训练(QAT)在训练前向传播中模拟INT4的舍入和截断误差,反向传播通常用直通估计器(STE)绕过不可导的量化算子。
SteerTTS edge 的声学模型有 9.25M 参数,采用 attention + 双向 Mamba-3 结构,并通过量化感知训练(QAT)压到 int4。
MoE与2比特量化结合时,专家路由对数值精度敏感,低比特可能放大路由错误,是工程难点。
事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
使用量化版本(如Q4、Q5)可以在性能损失极小的情况下大幅减少显存占用
NVIDIA在其NeMo框架中已内建了QAT支持管线
全部知识事实 (8)
使用量化版本(如Q4、Q5)可以在性能损失极小的情况下大幅减少显存占用
85%已验证事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
80%待验证量化感知训练(QAT)在训练过程中模拟量化误差反向传播,效果通常优于训练后量化(PTQ)
60%待验证BitNet b1.58不是训练后量化,而是训练时就让模型适应三值权重表示,无法对现有模型直接套用。
50%待验证量化感知训练(QAT)在训练前向传播中模拟INT4的舍入和截断误差,反向传播通常用直通估计器(STE)绕过不可导的量化算子。
50%待验证SteerTTS edge 的声学模型有 9.25M 参数,采用 attention + 双向 Mamba-3 结构,并通过量化感知训练(QAT)压到 int4。
50%待验证MoE与2比特量化结合时,专家路由对数值精度敏感,低比特可能放大路由错误,是工程难点。
50%待验证NVIDIA在其NeMo框架中已内建了QAT支持管线
50%