待验证50% 置信基准精确时间
在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证若带宽达到2.4TB/s，100GB模型理论速度上限可达24 token/s，60GB模型40 token/s，35GB模型接近69 token/s76% 相似待验证典型7B模型（32层、32头、128维度）在FP16精度下处理2048 token序列、批大小8时，KV Cache约消耗4GB显存71% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB70% 相似待验证以70B的BF16模型为例，产生一个token需读入约140GB权重，打满H100的3.35TB/s显存带宽时每token延迟至少42毫秒，理论TPS上限约24 token/秒70% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011105API
curl https://kongchang.com/api/v1/knowledge/claims/1011105MCP
get_claim(id=1011105)