待验证50% 置信概念精确时间
W4A16量化指权重以4-bit存储、激活值保持16-bit的混合精度方案，相比Q4_K_M保留更高精度的激活路径，配合marlin等专用CUDA kernel可在NVIDIA显卡上获得更高吞吐，但显存占用更刚性、对kernel支持要求更苛刻。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证W4A16量化中W4表示权重以4位整数存储，A16表示激活值保持16位浮点精度，可将显存占用压缩至约四分之一75% 相似已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit75% 相似待验证INT4量化可将KV Cache进一步压缩到0.5字节，但可能需要配合校准数据保证精度72% 相似已验证QLoRA将基础模型权重以4bit NF4格式量化存储，使单卡微调130亿参数模型成为可能70% 相似已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1043372API
curl https://kongchang.com/api/v1/knowledge/claims/1043372MCP
get_claim(id=1043372)