待验证50% 置信事实精确时间

Llama 3.1 8B每个token的KV缓存开销约为128KB

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

KV缓存显存计算：模型进显存了上下文却爆了

涉及实体

Llama 3.1 8Bmodel

相关事实

待验证Llama-3（8B）的全量微调约需80GB以上显存，Llama-3（70B）则需要超过400GB73% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB73% 相似待验证典型家用路由器配备的RAM在128MB到512MB之间，闪存通常只有16MB到256MB72% 相似已验证M4 Max已支持128GB统一内存71% 相似待验证8GB内存约存储2000首标准MP3或200首FLAC无损曲目，无损党建议选支持TF卡扩展至128GB以上的机型71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/915868

API

curl https://kongchang.com/api/v1/knowledge/claims/915868

MCP

get_claim(id=915868)