[控场AI]
产品H100 SXM5 / 8x H100

NVIDIA H100

NVIDIA推出的企业级数据中心GPU,采用Hopper架构,广泛用于AI训练与推理,支持SXM5形态与InfiniBand互联

核心事实

时间轴 (近 90 天)

11月8日

当前 AI 行业争抢的 GPU(如 NVIDIA H100)主要瓶颈之一是其 80GB 的 HBM 显存容量。

待验证50%
11月5日

Anthropic 开源了 Flash Proof,该技术用密码学证明从数学上验证一条回复确实来自声称运行的那个模型;在 Meta 的 Llama 4 Maverick(4000 亿参数)上测试时,单块 NVIDIA H100 GPU 生成证明的速度达到每秒 110 个 Token,每个证明约 19MB。

待验证50%
10月31日

自建数据中心需一次性投入数亿至数十亿美元购置GPU(如NVIDIA H100)、建设机房和配套系统。

待验证50%
10月25日

Nathan Lambert认为中国在AI人才上绝不逊色于美国,真正的短板是算力;他举例称OpenAI普通研究员可随时调用约5000张H100的算力。

待验证50%
10月21日

GPU(如NVIDIA H100/H200)单价高达数万美元,且供应紧张、迭代迅速,硬件折旧周期短。

已过期50%
10月16日

一块按需H100按$3.99/小时全月运行约2913美元,相当于约83.2万次中端批量评审调用或1660万次小型批量调用。

已过期50%
10月12日

NVIDIA H100/H200依赖CoWoS将GPU裸片与HBM内存堆叠封装在一起

待验证50%
10月9日

实验环境为单张NVIDIA H100,通过vLLM服务,测试模型为Gemma 4 12B和Gemma 4 31B,输入数据为5000万token的真实公开文本

待验证50%
9月25日

H200相比上一代H100的核心升级在于显存容量和带宽

待验证50%
9月25日

M5 Ultra的80核GPU是Apple Silicon消费级最高配置,但与NVIDIA H100/H200等数据中心级GPU相比浮点算力仍有数量级差距

待验证50%

还有 28 条时间轴事件

全部知识事实 (20)

已验证

NVIDIA H100单卡FP64双精度浮点性能达到约34 TFLOPS

90%
已验证

FP8 是 8 位浮点格式,NVIDIA H100 等较新架构原生支持,相较于 FP16/BF16 可将数据量压缩一半

75%
已验证

2022年10月,拜登政府首次出台针对先进计算芯片的出口管制,限制NVIDIA A100、H100等高端GPU对华出口

75%
已验证

The NVIDIA H100 comes with 80GB of HBM3 memory

65%
已验证

美国商务部工业与安全局(BIS)自2022年10月起对向中国出口高性能AI芯片实施多轮管制,2023年10月新一轮管制将A800和H800纳入限制范围

80%
待验证

传统GPU如NVIDIA A100/H100在推理阶段面临内存带宽瓶颈,模型权重需要在每次生成Token时从显存反复读取

90%
待验证

NVIDIA H100的峰值计算吞吐量与显存带宽之间存在巨大差距,大多数GPU程序的瓶颈在于数据搬运而非计算本身

90%
待验证

NVIDIA B200 GPU基于Blackwell架构,相比H100在训练性能上提升约2.5倍,推理性能提升可达5倍

85%
待验证

xAI于2024年9月在孟菲斯建成首期COLOSSUS集群,仅用约122天完成10万块NVIDIA H100 GPU的部署

85%
待验证

AWS Trainium2是亚马逊自研的第二代机器学习训练芯片,基于NeuronCore-v3架构,被定位为NVIDIA H100的性价比竞争替代方案

70%
待验证

FP8是专为深度学习推理加速设计的低精度格式,相比FP16可将模型内存占用降低一半,并在支持FP8的硬件(如NVIDIA H100、RTX 40系列GPU)上获得推理加速

60%
待验证

2023 年至 2024 年间 NVIDIA H100 的交付周期一度长达 36-52 周,到 2025 年下半年随着台积电 CoWoS 先进封装产能扩张,GPU 可获取性大幅改善

60%
待验证

DeepSeek-V3.2完整部署通常需要多张高端GPU(如NVIDIA A100/H100)组成的集群

60%
待验证

NVIDIA H100单卡售价高达3-4万美元,且受台积电先进制程产能限制,全球年供应量有限

60%
待验证

当前 AI 行业争抢的 GPU(如 NVIDIA H100)主要瓶颈之一是其 80GB 的 HBM 显存容量。

50%
待验证

自建数据中心需一次性投入数亿至数十亿美元购置GPU(如NVIDIA H100)、建设机房和配套系统。

50%
待验证

Nathan Lambert认为中国在AI人才上绝不逊色于美国,真正的短板是算力;他举例称OpenAI普通研究员可随时调用约5000张H100的算力。

50%
待验证

NVIDIA H100/H200依赖CoWoS将GPU裸片与HBM内存堆叠封装在一起

50%
待验证

实验环境为单张NVIDIA H100,通过vLLM服务,测试模型为Gemma 4 12B和Gemma 4 31B,输入数据为5000万token的真实公开文本

50%
待验证

H200相比上一代H100的核心升级在于显存容量和带宽

50%

来源文章