待验证50% 置信事实精确时间
在默认 per_loop 模式下，Dory 的 KV 缓存随循环次数成倍增加：2 次循环 256K 上下文约 14 GiB，4 次循环约 24 GiB；切换到 last_loop 模式可降至约 9 GiB（256K）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证KV缓存的规律是：上下文长度翻倍缓存大致翻倍，并发满上下文请求翻倍缓存再翻倍76% 相似待验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。70% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存69% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存67% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1063743API
curl https://kongchang.com/api/v1/knowledge/claims/1063743MCP
get_claim(id=1063743)