概念量化感知训练 / Quantization-Aware Training
QAT
一种在模型训练阶段模拟量化误差的技术,使模型主动学会容忍精度损失,相比训练后量化(PTQ)在低精度下保持更好的输出质量。
时间轴 (近 90 天)
9月12日
真正可用的 1-bit 级别大模型将是一类全新训练(引入量化感知训练QAT)的模型,而非对现有模型的事后压缩
待验证50%
9月11日
量化感知训练(QAT)是将压缩机制从训练一开始就融入训练过程的方法,而非训练结束后再压缩
待验证50%
9月11日
谷歌官方表示QAT方法在质量上显著优于传统的事后压缩方式
待验证50%
9月11日
Gemma 3的QAT进步被定位为AI运行效率稳步提升过程中的一个重要里程碑,而非范式革命
待验证50%