HBM
高带宽内存（High Bandwidth Memory，HBM）是一种基于三维堆叠技术的高性能内存标准，通过将多层DRAM芯片垂直堆叠并以硅通孔（TSV）互联，实现极高的数据传输带宽和能效比。HBM主要用于对内存带宽要求极高的场景，包括人工智能训练、高性能计算及图形处理等领域，是现代GPU和AI加速芯片的重要组成部分。
核心事实
时间轴 (近 90 天)
KV cache 换入换出依赖主机内存与 GPU 显存之间的互联带宽；以 PCIe 4.0 x16 为例，单向有效带宽约 25 GB/s 量级，而单张数据中心 GPU 的 HBM 带宽可达 2–3 TB/s，相差约两个数量级。
LPDDR5X 相比 HBM 在带宽上有所妥协，但在容量扩展成本和功耗控制方面具有优势。
HBM的容量决定单卡能承载的模型参数量与KV Cache长度，其堆叠层数和封装工艺往往比算力峰值更能左右一张AI卡的实际商业价值。
HBM的物理位宽极宽（可达1024位甚至更高），能在较低频率下提供远超GDDR的内存带宽
NVIDIA H100/H200依赖CoWoS将GPU裸片与HBM内存堆叠封装在一起
算力瓶颈已经从芯片产能转移到了先进封装（CoWoS）和高带宽内存（HBM）上
随着大型语言模型训练集群规模扩张，HBM需求以每年约翻倍的速度增长
现代HBM显存内建Post-Package Repair（PPR）机制，允许在封装后通过电信号修复少量坏行
AI服务器对HBM的单机用量远超传统服务器
HBM目前全球主要供应商仅有三星、SK海力士和美光三家
还有 40 条时间轴事件
全部知识事实 (20)
英伟达H100采用的HBM3内存带宽高达3.35TB/s
90%已验证HBM是通过硅通孔（TSV）技术将多层DRAM芯片垂直堆叠，再通过硅中介层与GPU集成的封装技术
90%已验证相比上一代V4 Flash，V4.1 Flash对高速显存（HBM）的需求降到四分之一，对SSD持久化存储的需求降到八分之一
75%已验证HBM通过垂直堆叠多层DRAM芯片并以硅通孔（TSV）技术实现层间高密度互联，相比传统GDDR6显存内存带宽可高出3-5倍，同时功耗更低、封装面积更小
75%已验证GB300 集成 HBM3e 高带宽内存，单卡容量高达288GB，内存带宽超过10TB/s
75%已验证HBM是英伟达A100、H100、H200等AI训练芯片的核心组成部分
75%已验证主流NVMe SSD的顺序读取速度可达3500-7000MB/s
75%已验证本地运行大模型时GPU显存往往比算力更关键，选择硬件时应优先关注显存容量而非性能跑分
65%已验证LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽
65%待验证Traditional GPU memory relies primarily on HBM, which achieves high bandwidth through 3D stacking and ultra-wide buses but has limited capacity, high expense, and significant power consumption
90%待验证Storage-class memory exhibits notable disadvantages in access latency and bandwidth compared to HBM's multi-terabyte-per-second bandwidth
85%待验证内存行业的晶圆产能需要在DDR、LPDDR和HBM三种主要内存类型之间分配
85%待验证在AI浪潮到来之前，HBM仅占晶圆分配的2%
85%待验证每生产1GB的HBM所消耗的晶圆产能是生产1GB DDR或LPDDR的三倍以上
80%待验证英伟达H100/H200、AMD MI300X均集成了HBM
70%待验证FlashAttention通过减少对HBM的读写次数，将中间结果尽量保留在SRAM中，从而突破内存带宽瓶颈实现提速
60%待验证分层内存架构将HBM、DRAM和CXL扩展内存池组织成层级结构，其中HBM作为高速缓存层、DRAM作为主内存层、CXL提供大容量可共享内存资源
60%待验证HBM采用TSV技术在极薄的DRAM晶圆上钻出数千个微米级通孔，每层DRAM die需要研磨至约30-40微米厚度
60%待验证SRAM访问延迟约1ns，HBM约100ns，SRAM延迟比HBM低约10-50倍
60%待验证全球HBM供应几乎由SK海力士、三星和美光三家垄断
60%