ConceptSmoothQuant量化
SmoothQuant
一种通过将量化难度从激活值迁移到权重来降低LLM量化误差的方法，通过数学等价变换平滑激活异常值，提升低比特量化精度
Timeline (last 90 days)
Sep 17
低比特表示会显著放大权重分布中的异常值影响，SmoothQuant通过迁移量化难度、SpQR通过对异常值单独保留高精度来解决这一问题
Unverified50%
Aug 31
SmoothQuant（2022）通过数学等价变换将激活值中的离群值平滑转移到权重上，使激活值和权重都可使用 INT8 量化
Unverified50%
Aug 30
GPTQ、AWQ、SmoothQuant 等技术使大模型在 INT4 量化下仍能保持接近原始精度的表现
Unverified50%