待验证50% 置信事实精确时间
开源工具galahad-kv将每个约1.6万token块的KV状态保存到加密的本地NVMe磁盘，之后按字节精确地重新加载，完全跳过重新计算
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/9
首次发现
有效期至：2027/1/7
来源
涉及实体
相关事实
已验证硬盘缓存机制将已计算的KV Cache持久化到存储介质中，当后续请求前缀与缓存命中时可直接复用，跳过重复的前向传播65% 相似待验证KV Cache 在 Decode 阶段缓存此前所有 Token 的 Key 和 Value 矩阵，随对话轮次和上下文窗口增长而膨胀，长文本场景下可占用几 GB 到几十 GB 内存65% 相似待验证部署使用llama.cpp服务器，采用4-bit KV缓存、上下文长度设为100,000、将32层卸载到系统内存、启用惰性模式强制从SSD读取Ngram表65% 相似待验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力65% 相似已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/990341API
curl https://kongchang.com/api/v1/knowledge/claims/990341MCP
get_claim(id=990341)