待验证50% 置信事实精确时间
NoteBank 的持久化存储约为同等宽度、深度和精度下完整多头注意力 KV 缓存的 1/2600（论文 Figure 1 中为 74.5 MiB 对 192 GiB）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存75% 相似待验证Engram将整个checkpoint中四分之一的容量用作n-gram记忆，规模达到197B参数73% 相似待验证以8位精度存储KV缓存可节省内存并支撑更大的上下文窗口，作者日常使用13万到26万的上下文长度73% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存72% 相似已验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1040229API
curl https://kongchang.com/api/v1/knowledge/claims/1040229MCP
get_claim(id=1040229)