待验证50% 置信事实精确时间

开启闪存注意力（Flash Attention）并将缓存类型设为 Q8 可减少约一半的 KV Cache 显存占用，质量损失很小。

1

来源数

50%

置信度

长期有效

时效性

2026/10/17

首次发现

来源

Codex接本地模型：8G到24G显卡各能跑什么

涉及实体

Flash Attentionconcept KV Cacheconcept

相关事实

待验证GQA 将注意力头分组共享 KV 投影，可将 KV 缓存压缩至原来的 1/4 甚至更低而几乎不损失模型质量77% 相似待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化74% 相似待验证将 KV 缓存从 FP16 降至 INT8 可节省 50% 显存，降至 INT4 则节省 75%73% 相似待验证LFM2.5-24B-A2B 的 KV 缓存增长速度远低于同深度纯 Transformer，因为只有 10 层是注意力层，长上下文的内存开销显著较低。72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1056749

API

curl https://kongchang.com/api/v1/knowledge/claims/1056749

MCP

get_claim(id=1056749)