待验证50% 置信事实精确时间
同一个 Q8_0 文件运行两次，第二次使用 q8_0 的 K/V 缓存，KL 为 0.0038，比将权重从 BF16 量化为 Q8_0（KL 0.0022）的影响还大。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
涉及实体
相关事实
待验证Q8_0 表示 8 位整数量化：权重以 8 bit 块存储，每个块带一个缩放因子，相比 FP16 大约减半，精度损失很小但几乎不省内存73% 相似待验证llama.cpp的--cache-type-k q8_0 --cache-type-v q8_0参数可将KV Cache从FP16量化到8-bit，减少约一半缓存显存占用70% 相似待验证KV Cache只缓存K和V而不缓存Q，因为Q只在当前步被使用，用完即弃，而历史的K、V在后续每一步都会被重新访问68% 相似待验证q2_0 属于极低比特量化方案，每个权重仅用约 2 bit 表示。67% 相似待验证测试使用Swift版Q5_K_L、基础版Unsloth的Q5_K_XL量化配置，均在128GB内存中运行并支持262K上下文，engrams均为Q8_0并存放于SSD67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1054508API
curl https://kongchang.com/api/v1/knowledge/claims/1054508MCP
get_claim(id=1054508)