待验证50% 置信事实精确时间

1×A100 80GB运行4-bit量化的70B模型时，每小时价格约为$1.09，可支持约98,000个在途token。

1

来源数

50%

置信度

短期 (~14 天)

时效性

2026/10/13

首次发现

有效期至：2026/10/27

来源

70B大模型需要多少显存？推理与微调全解析

涉及实体

A100product Llama 3.3 70Bmodel

相关事实

待验证在 vast.ai 上一块 H100 SXM 80GB（每小时 2.689 美元，20 vCPU）上运行 vLLM 0.27.1 官方镜像推理 Qwen2.5-0.5B-Instruct（fp16），单请求串行负载下每百万输出 Token 成本约为 1.26 美元。70% 相似待验证对于70B+的高质量模型，本地部署通常需要多块A100/H100级别的GPU，硬件成本可达数万到数十万美元69% 相似已验证运行70B参数开源模型进行推理服务至少需要2-4张A100/H100级别GPU，每小时云端租赁成本在5-20美元之间69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1019930

API

curl https://kongchang.com/api/v1/knowledge/claims/1019930

MCP

get_claim(id=1019930)