待验证60% 置信基准精确时间
Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB
2
来源数
60%
置信度
长期有效
时效性
2026/8/12
首次发现
来源
相关事实
已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB76% 相似已验证LLaMA-2 70B单条32K上下文长度序列在FP16下KV缓存可达约80GB75% 相似待验证pve-01节点配置为Ryzen 7 5700U（8核16线程）、62GB内存、512GB NVMe（ZFS）+2TB HDD（ZFS）+256GB SATA SSD，作为主力承载Kubernetes集群72% 相似待验证典型7B模型（32层、32头、128维度）在FP16精度下处理2048 token序列、批大小8时，KV Cache约消耗4GB显存71% 相似待验证在 Llama-3.1-8B、批大小 32、上下文 2048 的同一条件下，vLLM 约 450 tok/s，llama.cpp 约 280 tok/s，Ollama 约 120 tok/s。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/735608API
curl https://kongchang.com/api/v1/knowledge/claims/735608MCP
get_claim(id=735608)