[控场AI]
概念PTQ / Post-Training Quantization

训练后量化

在已训练好的模型权重上直接做舍入或校准进行压缩,模型未针对低精度优化,可能导致精度下降。

核心事实

时间轴 (近 90 天)

11月18日

DAQ(Decision-Aligned Post-Training Quantization)是一种针对脉冲Transformer的训练后量化方法,通过校准量化器以对齐神经元放电决策。

待验证50%
11月9日

校准是训练后量化(PTQ)中的关键步骤,用一小批代表性样本统计各层激活的动态范围或分布,以确定量化参数。

待验证50%
10月14日

事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。

已验证80%
9月11日

使用量化版本(如Q4、Q5)可以在性能损失极小的情况下大幅减少显存占用

已验证85%

全部知识事实 (7)

来源文章