待验证50% 置信事实精确时间
只有四个源层(kv_source_layer_ids = [2,8,14,20])提供长程 KV,且每层叠加压缩比。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证将 KV 缓存从 FP16 量化到 Q4,能以极小的精度损失换取约 4 倍的显存节省71% 相似待验证使用MLA的模型如DeepSeek-V4.1-Flash将KV状态压缩至每32k流约2.4 GB(FP8 KV),而更宽的架构每32k流消耗3.0 GB–3.8 GB。67% 相似已验证DeepSeek-V4.1-Flash 的 KV 缓存压缩至每 Token 890 字节,仅为 V4 Flash 的四分之一66% 相似待验证Q4_K_M量化文件大小17.77GB,pp2048速度96.8 tok/s,tg128速度11.4 tok/s64% 相似待验证Agens Volundr 32B 为稠密结构,约 32B 参数,共 72 层,其中只有 18 层保留 KV 缓存62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1061810API
curl https://kongchang.com/api/v1/knowledge/claims/1061810MCP
get_claim(id=1061810)