待验证50% 置信事实精确时间

AirLLM 能够在单张仅有4GB显存的GPU上完成70B大模型的推理

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

AirLLM：4GB显卡跑70B大模型的核心原理与适用场景

相关事实

已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限69% 相似已验证参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存68% 相似待验证以 GGUF Q4 量化为基准，7B 模型约需 4-6GB 显存，13B 约需 8-10GB，70B 需 40GB 以上或多 GPU 并行68% 相似待验证单卡A100（80GB显存）可运行7B-13B级别模型，4卡A100（320GB显存）可运行70B级别模型68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/563105

API

curl https://kongchang.com/api/v1/knowledge/claims/563105

MCP

get_claim(id=563105)