待验证50% 置信基准精确时间

以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

长对话正在吃掉你的AI额度：Token计费机制详解

相关事实

已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB79% 相似已验证参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存78% 相似待验证单卡A100（80GB显存）可运行7B-13B级别模型，4卡A100（320GB显存）可运行70B级别模型77% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/526414

API

curl https://kongchang.com/api/v1/knowledge/claims/526414

MCP

get_claim(id=526414)