Verified75% confidenceFactExact time
AWQ(2023)发现权重中约1%的显著通道对模型输出影响最大,通过等价缩放保护这些通道
3
Sources
75%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
NVFP4量化实战:NVIDIA模型优化器压缩大模型指南
rss6/26/2026
Related Claims
VerifiedAWQ于2023年发现权重中只有约1%的显著权重对精度影响巨大,通过保护这部分权重降低量化损失81% similarVerifiedAWQ 识别并保护对激活值影响最大的权重,在相同压缩率下通常比 GPTQ 取得更优的精度表现73% similarUnverifiedAWQ通过分析激活值分布确定每个通道的量化缩放因子,相较朴素INT4量化能显著降低困惑度损失72% similarUnverifiedAWQ发现保护少量关键通道(salient channels)即可显著减少量化精度损失68% similarUnverifiedAWQ由MIT韩松团队于2023年提出,通过保护显著权重,相较朴素Q4量化在相同压缩比下可减少约20%的精度损失67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/187837API
curl https://kongchang.com/api/v1/knowledge/claims/187837MCP
get_claim(id=187837)