待验证50% 置信基准精确时间
PagedAttention论文以OPT-13B、FP16举例，每个token约需800KB，2048个token约需1.6GB KV Cache
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB80% 相似已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB73% 相似待验证据社区援引信息，DeepSeek-V4.1-Flash主干参数为552B，Engram参数为196B，safetensors权重文件总计约350GB71% 相似已验证参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存71% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/908131API
curl https://kongchang.com/api/v1/knowledge/claims/908131MCP
get_claim(id=908131)