待验证50% 置信事实精确时间

LLaMA-2 70B 总参数约 700 亿均匀分布于 80 层，每层约 8.75 亿参数，FP16 精度下单层约占 1.75GB 显存

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

AirLLM：4GB显卡跑70B大模型的核心原理与适用场景

相关事实

待验证LLaMA-2 70B 模型共有 80 个 Transformer 层，每层约 8.75 亿参数，FP16 精度下单层约占 1.75GB 显存83% 相似待验证运行700亿参数级别开源模型在 FP16 精度下至少需要约 140GB 显存，即 8 张 H100 并行77% 相似部分验证以 65B 参数的 LLaMA 模型为例，传统全量微调需要 780GB 以上显存，而 QLoRA 仅需约 48GB77% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/563762

API

curl https://kongchang.com/api/v1/knowledge/claims/563762

MCP

get_claim(id=563762)