待验证60% 置信事实精确时间
部署700亿参数规模的开源模型以FP16精度运行至少需要4张80GB显存的A100/H100 GPU，仅硬件采购成本超过百万人民币
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/7/6
首次发现
有效期至：2026/10/4
来源
企业为何自研AI Agent？安全隐患与自主可控实践解析
bilibili马小洋qwer2026/7/3
相关事实
待验证运行700亿参数级别开源模型在 FP16 精度下至少需要约 140GB 显存，即 8 张 H100 并行80% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限76% 相似已验证参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存75% 相似待验证英伟达H100 GPU单卡功耗高达700瓦，一个配备5万块H100的超算集群总功耗可达35兆瓦（MW）74% 相似已验证消费级 GPU 如 RTX 4090 拥有 24 GB 显存，可运行数十亿参数的量化模型74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/113193API
curl https://kongchang.com/api/v1/knowledge/claims/113193MCP
get_claim(id=113193)