待验证50% 置信事实精确时间
将权重39.8 GiB、KV Cache39.1 GiB、激活与运行时约4.2 GiB相加，总计约83.1 GiB，会导致80GB GPU发生OOM。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。69% 相似待验证在实验配置下Ollama将840M识别为约16GB显存（16193 MiB），加载时约14.6 GiB可供Vulkan设备使用69% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。69% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限69% 相似待验证一个70.6B模型使用GGUF Q4_K_M格式，权重体积约为39.8 GiB。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025445API
curl https://kongchang.com/api/v1/knowledge/claims/1025445MCP
get_claim(id=1025445)