Unverified60% confidenceFactExact time
部署700亿参数规模的开源模型以FP16精度运行至少需要4张80GB显存的A100/H100 GPU，仅硬件采购成本超过百万人民币
2
Sources
60%
Confidence
Medium-term (~90 days)
Relevance
7/6/2026
First Seen
Valid until: 10/4/2026
Sources
企业为何自研AI Agent？安全隐患与自主可控实践解析
bilibili马小洋qwer7/3/2026
Related Claims
Unverified运行700亿参数级别开源模型在 FP16 精度下至少需要约 140GB 显存，即 8 张 H100 并行80% similarVerified以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限76% similarVerified参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存75% similarUnverified英伟达H100 GPU单卡功耗高达700瓦，一个配备5万块H100的超算集群总功耗可达35兆瓦（MW）74% similarVerified消费级 GPU 如 RTX 4090 拥有 24 GB 显存，可运行数十亿参数的量化模型74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/113193API
curl https://kongchang.com/api/v1/knowledge/claims/113193MCP
get_claim(id=113193)