待验证50% 置信事实精确时间

将 KV 缓存从 FP16 降至 INT8 可节省 50% 显存，降至 INT4 则节省 75%

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

ExLlamaV3 v1.0.0正式发布：推理提速、KV量化无损、依赖全面精简

相关事实

待验证量化KV Cache（压缩为INT8或INT4）可将缓存内存降低50-75%，但主流推理框架支持成熟度参差不齐74% 相似待验证GQA 将注意力头分组共享 KV 投影，可将 KV 缓存压缩至原来的 1/4 甚至更低而几乎不损失模型质量72% 相似待验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/472% 相似待验证量化技术从FP32到INT8可减少约75%的内存占用71% 相似待验证MLA 将所有头的 Key 和 Value 联合压缩为低维潜在向量缓存，本质上是对 KV Cache 做低秩分解71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/529624

API

curl https://kongchang.com/api/v1/knowledge/claims/529624

MCP

get_claim(id=529624)