概念
W4A16
量化术语，表示权重为 4-bit、激活为 16-bit 的推理模式，可在不支持 FP4 的硬件上运行
时间轴 (近 90 天)
10月16日
W4A16量化指权重以4-bit存储、激活值保持16-bit的混合精度方案，相比Q4_K_M保留更高精度的激活路径，配合marlin等专用CUDA kernel可在NVIDIA显卡上获得更高吞吐，但显存占用更刚性、对kernel支持要求更苛刻。
待验证50%
9月17日
Chord 是由 Novita Labs 开源的一套 W4A16 MoE 内核，专门针对 Kimi K2.x 系列模型进行了优化
待验证50%
9月17日
相比全 FP16 推理，W4A16 能将模型显存占用降低约 50%–60%
待验证50%
9月13日
W4A16量化中W4表示权重以4位整数存储，A16表示激活值保持16位浮点精度，可将显存占用压缩至约四分之一
待验证70%
全部知识事实 (4)
待验证
W4A16量化中W4表示权重以4位整数存储，A16表示激活值保持16位浮点精度，可将显存占用压缩至约四分之一
70%待验证W4A16量化指权重以4-bit存储、激活值保持16-bit的混合精度方案，相比Q4_K_M保留更高精度的激活路径，配合marlin等专用CUDA kernel可在NVIDIA显卡上获得更高吞吐，但显存占用更刚性、对kernel支持要求更苛刻。
50%待验证Chord 是由 Novita Labs 开源的一套 W4A16 MoE 内核，专门针对 Kimi K2.x 系列模型进行了优化
50%待验证相比全 FP16 推理，W4A16 能将模型显存占用降低约 50%–60%
50%