待验证50% 置信事实精确时间

INT4量化可将KV Cache进一步压缩到0.5字节，但可能需要配合校准数据保证精度

1

来源数

50%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

vLLM Worker侧GPU KV Cache初始化流程深度解析

涉及实体

INT4量化concept

相关事实

待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化76% 相似待验证Kimi K2在FP16精度下仅模型权重就需要数百GB显存，INT4量化可将显存需求压缩至约四分之一76% 相似已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/476% 相似待验证量化技术通过将 32 位或 16 位浮点权重压缩为 4 位或 8 位整数表示，以牺牲少量精度换取内存与速度改善75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/888492

API

curl https://kongchang.com/api/v1/knowledge/claims/888492

MCP

get_claim(id=888492)