待验证50% 置信事实精确时间

2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

70B大模型需要多少显存？推理与微调全解析

涉及实体

Llama 3.3 70Bmodel

相关事实

已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限78% 相似已验证单张A100 GPU的显存容量上限为80GB76% 相似待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡76% 相似待验证GPT-OSS 120B需要大于80GB显存（如H100 GPU）才能运行76% 相似待验证本地运行70B模型至少需要配备48GB显存的专业GPU，如NVIDIA A6000或双卡RTX 409075% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1019931

API

curl https://kongchang.com/api/v1/knowledge/claims/1019931

MCP

get_claim(id=1019931)