待验证50% 置信事实精确时间
一张80GB的A100装载一个70B参数模型后，留给KV Cache的空间极为有限，并发增多或上下文拉长时KV Cache会迅速耗尽显存触发OOM导致推理进程崩溃
1
来源数
50%
置信度
长期有效
时效性
2026/10/1
首次发现
来源
涉及实体
相关事实
已验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存76% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存76% 相似已验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量75% 相似已验证一个70B参数模型经Q4_K_M量化后约占40GB存储空间，在RTX 4090配合CPU内存卸载可达每秒10-20个token的推理速度73% 相似待验证100万Token在FP16精度下仅KV Cache一项即可消耗数百GB显存，远超单张A100/H100的80GB容量上限73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/966027API
curl https://kongchang.com/api/v1/knowledge/claims/966027MCP
get_claim(id=966027)