待验证50% 置信事实精确时间

全量微调70B模型配合AdamW优化器需要约1,129 GB显存（705.5亿参数 × 16字节/参数）。

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

70B大模型需要多少显存？推理与微调全解析

涉及实体

Llama 3.3 70Bmodel

相关事实

待验证使用Adam优化器时，每参数需要16字节状态信息（FP32参数4字节+FP32梯度4字节+一阶动量4字节+二阶动量4字节），15亿参数模型每个GPU至少需约24GB状态信息80% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB77% 相似待验证微调70B模型时，QLoRA约需50 GB显存，LoRA约150 GB，全量微调配合AdamW优化器高达1.1 TB。76% 相似待验证运行700亿参数级别开源模型在 FP16 精度下至少需要约 140GB 显存，即 8 张 H100 并行75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1019929

API

curl https://kongchang.com/api/v1/knowledge/claims/1019929

MCP

get_claim(id=1019929)