概念QAT / Quantization-Aware Training
量化感知训练
一种模型量化训练方法，模型在训练阶段就模拟量化操作，保留全精度权重副本同时练习舍入，使模型适应极端压缩
时间轴 (近 90 天)
8月25日
NVIDIA在其NeMo框架中已内建了QAT支持管线
待验证50%
7月8日
量化感知训练（QAT）在训练过程中模拟量化误差反向传播，效果通常优于训练后量化（PTQ）
待验证60%
一种模型量化训练方法，模型在训练阶段就模拟量化操作，保留全精度权重副本同时练习舍入，使模型适应极端压缩
NVIDIA在其NeMo框架中已内建了QAT支持管线
量化感知训练（QAT）在训练过程中模拟量化误差反向传播，效果通常优于训练后量化（PTQ）