待验证60% 置信事实精确时间
Hugging Face 计算 BF16 下 KV 缓存约每 token 250 KB，完整 100 万 token 上下文约需 266 GB。
2
来源数
60%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证在替换后的模型中，绑定embedding/lm_head矩阵保持bf16，因此每个token实际读取约1.263 GB权重（外加约0.06 GB KV cache），按实际移动字节计算，25.5 tok/s相当于约34 GB/s，约为实测带宽的10%。75% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存74% 相似已验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存74% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存74% 相似待验证M3 Ultra运行四位DeepSeek R1时，1000 token上下文约每秒生成19个token占用392GB，16000 token时降到约每秒15个占用410GB73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1041160API
curl https://kongchang.com/api/v1/knowledge/claims/1041160MCP
get_claim(id=1041160)