概念PTQ / Post-Training Quantization
训练后量化
在已训练好的模型权重上直接做舍入或校准进行压缩,模型未针对低精度优化,可能导致精度下降。
核心事实
时间轴 (近 90 天)
11月18日
DAQ(Decision-Aligned Post-Training Quantization)是一种针对脉冲Transformer的训练后量化方法,通过校准量化器以对齐神经元放电决策。
待验证50%
11月9日
校准是训练后量化(PTQ)中的关键步骤,用一小批代表性样本统计各层激活的动态范围或分布,以确定量化参数。
待验证50%
10月14日
事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
已验证80%
9月11日
使用量化版本(如Q4、Q5)可以在性能损失极小的情况下大幅减少显存占用
已验证85%
全部知识事实 (7)
已验证
使用量化版本(如Q4、Q5)可以在性能损失极小的情况下大幅减少显存占用
85%已验证事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
80%已验证PTQ(训练后量化)不需要重新训练模型,只需少量校准数据即可完成量化,通常几百到几千条校准数据就够用
75%已验证量化感知训练(QAT)让模型保留全精度权重副本,每次前向传播练习舍入操作,学会在极端压缩下的权重分布
70%待验证量化感知训练(QAT)在训练过程中模拟量化误差反向传播,效果通常优于训练后量化(PTQ)
60%待验证DAQ(Decision-Aligned Post-Training Quantization)是一种针对脉冲Transformer的训练后量化方法,通过校准量化器以对齐神经元放电决策。
50%待验证校准是训练后量化(PTQ)中的关键步骤,用一小批代表性样本统计各层激活的动态范围或分布,以确定量化参数。
50%