存储级内存革新：GPU显存或跃升至数TB级别

显存瓶颈：AI算力增长的隐形天花板

在大模型训练与推理需求爆发的当下，GPU的算力提升往往成为舆论焦点，但真正制约实际性能的常常是显存容量。当前旗舰级AI加速卡的显存普遍停留在数十GB到上百GB级别——例如NVIDIA H100配备80GB HBM3显存，即便是最新的高端型号也难以突破200GB门槛。

HBM（High Bandwidth Memory）是当前AI加速卡的主流内存技术，它通过硅通孔（TSV）技术将多层DRAM die垂直堆叠，并通过中介层（interposer）与GPU芯片紧密互联，实现1024位甚至更宽的数据总线。HBM3规范支持每堆栈高达819GB/s的带宽，而最新的HBM3E进一步提升至约1.2TB/s。然而，每个HBM堆栈的容量目前上限约为24GB（HBM3E 12-Hi），一颗GPU最多集成6个堆栈，这就形成了当前约144GB的物理容量天花板——想要通过简单增加HBM堆栈来实现TB级容量，在封装面积和散热方面都面临极大挑战。

HBM技术从2013年首次由AMD和SK hynix联合提出以来，已经历了HBM、HBM2、HBM2E、HBM3到HBM3E的五代演进。每一代都在堆叠层数、单die容量和信号速率上进行提升。硅通孔（TSV）技术是HBM的核心使能技术，它通过在硅片上蚀刻直径约5-10微米的垂直通孔并填充铜导体，实现die间的电气互联。当前HBM3E的12-Hi配置意味着12层DRAM die的垂直堆叠，这对晶圆减薄（每层需研磨至约30-40微米）、TSV对准精度和热管理都提出了极高要求。更多层数的堆叠（如16-Hi）正在研发中，但散热问题日益严峻——堆叠中心层的热量难以有效传导至外部，可能导致温度梯度超过DRAM的可靠工作范围。

然而，一个千亿甚至万亿参数级别的大模型，其权重加上训练时的中间激活值、优化器状态等，动辄需要数百GB乃至数TB的内存空间。以GPT-3（175B参数）为例，仅存储FP16格式的权重就需要约350GB，而训练时加上Adam优化器的动量和方差（各占与权重相同的空间），再加上梯度和前向传播的中间激活值，单份模型副本需要约3TB的总内存空间。

具体来说，大模型训练的内存消耗可以精确分解为几个组成部分。以混合精度训练为例：模型权重需要同时保存FP32主副本（用于参数更新的精度保证）和FP16/BF16工作副本；Adam优化器需要为每个参数维护一阶动量（均值）和二阶动量（方差），各占一份FP32空间；梯度在反向传播时产生，占一份FP16空间；前向传播的中间激活值在反向传播时用于计算梯度，其大小与batch size、序列长度和模型宽度成正比。激活值重计算（Gradient Checkpointing）可以用额外的计算换取内存节省，只保存部分检查点层的激活值，其余在反向传播时重新计算，通常可将激活值内存降低至原来的1/√N（N为层数）。

这意味着工程师不得不采用模型并行、张量切分等复杂技术，将模型拆分到数十上百张GPU上协同运行。

模型并行（Model Parallelism）的具体实现包括多种策略：张量并行将单个矩阵运算沿特定维度切分到多张GPU上并行计算；流水线并行则将模型的不同层分配到不同设备形成流水线；而ZeRO（Zero Redundancy Optimizer）等技术则将优化器状态、梯度和权重分片存储在不同设备上。Megatron-LM和DeepSpeed等框架已经实现了这些策略的工程化，但这种做法不仅推高了硬件成本，还带来了大量的跨设备通信开销——在张量并行中，每一层的前向和反向传播都需要执行AllReduce操作，通信量与模型大小成正比。

正是在这一背景下，一项受存储技术启发的新型内存方案引发了业界关注。据技术社区的讨论，这项技术有望让单块GPU的可用内存容量「爆发式」增长到数TB级别。

借鉴存储架构：内存分层的新思路

从HBM到存储级内存

传统的GPU显存以HBM（高带宽内存）为主，它通过3D堆叠和超宽总线实现极高的带宽，但代价是容量受限、成本高昂且功耗较大。要在HBM上简单堆料实现TB级容量，在物理和经济层面都不现实。

新方案的核心思路是「向存储技术取经」，构建分层的内存体系。其灵感来源于现代存储系统中SSD、闪存等技术在容量密度上的巨大优势——闪存芯片的单位面积存储密度远高于DRAM，成本也低得多。存储级内存（Storage Class Memory, SCM）是介于传统DRAM和NAND闪存之间的一类存储介质，历史上的代表技术包括Intel的Optane（基于3D XPoint），其延迟约为DRAM的10倍但远低于SSD，且具备字节寻址能力。当前业界探索的方向还包括将高密度NAND闪存通过定制控制器和高速接口接入GPU的内存地址空间，利用闪存每比特成本仅为HBM的1/10到1/50的优势实现大容量扩展。Samsung、SK hynix等存储巨头正在研发面向AI场景的内存扩展模块，单模块容量可达512GB至2TB。通过将这类存储导向的介质引入GPU内存层级，理论上可以在可接受的成本下，将GPU可寻址的内存空间扩展到数TB。

然而，将NAND闪存引入GPU内存层级面临多重技术挑战。首先是延迟差异——NAND闪存的读取延迟约为50-100微秒，而HBM的访问延迟约为100纳秒，两者相差约1000倍；其次是写入耐久性问题，当前QLC NAND的擦写寿命约为1000次，即使TLC也仅约3000次，频繁的数据交换可能快速耗尽闪存寿命；第三是闪存的读写不对称性——写入需要先擦除整个块（通常为数MB），这对于AI工作负载中常见的小粒度随机写入极为不利。解决方案包括使用大容量SRAM/DRAM作为写缓冲区、采用日志结构的写入策略、以及利用AI工作负载的可预测性进行写入合并优化。

分层缓存策略与性能权衡

这种「存储级内存」并非没有代价。相比HBM动辄每秒数TB的带宽，存储导向的介质在访问延迟和带宽上都存在明显劣势。因此这类技术通常采用分层缓存策略：将最热、最频繁访问的数据放在高速HBM中，而将访问频率较低的大块数据（如部分模型权重、历史KV缓存等）下沉到大容量的存储级内存里。

值得深入理解的是KV缓存为何成为内存消耗的「大户」。在Transformer模型的自回归推理过程中，模型需要存储所有已生成token对应的Key和Value张量，以避免对历史序列的重复计算。对于一个70B参数的模型，处理单个128K上下文长度的请求，KV缓存就可能占用数十GB内存。在高并发推理场景下——例如同时服务数百个用户请求——KV缓存的累计内存需求可达数百GB甚至数TB。虽然vLLM等推理引擎采用PagedAttention技术优化了KV缓存的内存管理效率（类似操作系统的虚拟内存分页），但总容量需求仍然巨大。这恰恰是分层内存架构的理想应用场景：活跃请求的KV缓存保留在HBM中，而已完成或暂停的请求的KV缓存可以下沉到大容量存储层，需要时再调回。

对于大模型推理场景，这种分层架构尤其有意义。AI训练和推理对内存的需求模式存在本质差异：训练时几乎所有数据都需要高带宽的连续访问，而推理时权重按层顺序读取，具有良好的时间和空间局部性。这种可预测的访问模式意味着可以利用预取（prefetching）策略提前将即将使用的权重从慢速层调入高速层，有效隐藏延迟差异。许多推理任务的瓶颈在于容量而非纯粹的带宽——只要能把整个模型装进单卡，避免昂贵的跨卡通信，即便部分数据访问稍慢，整体效率仍可能大幅提升。

对AI基础设施的潜在影响

降低大模型的部署门槛

如果单卡显存能够扩展到数TB，最直接的受益者将是大模型的部署与推理环节。当前运行一个超大规模模型往往需要一整台配备8张GPU的服务器（如NVIDIA DGX H100，总显存640GB，系统售价超过30万美元），而未来或许只需少数几张具备海量内存的加速卡即可完成同样的任务。这将显著降低推理服务的硬件门槛与运营成本。

对于中小型企业和研究机构而言，这意味着无需构建庞大的GPU集群，就有机会在本地运行原本遥不可及的大模型，从而推动AI应用的进一步普及。更重要的是，减少GPU数量还意味着降低了系统级的功耗和散热需求，以及简化了分布式推理框架的部署复杂度，这对于边缘部署场景尤为重要。

重新定义算力与内存的平衡

长期以来，GPU的设计一直在算力（FLOPS）与内存容量、带宽之间寻找平衡点。存储级内存技术的引入，可能打破现有的比例关系，让「大内存、适中带宽」成为一种新的产品形态，专门服务于对容量敏感的AI工作负载。这种产品形态与当前NVIDIA的A/H/B系列追求极致算力和带宽的路线形成互补，有可能催生新的市场细分——例如专门面向推理服务的「容量优先型」加速卡。

你可能没注意到，这类技术目前更多处于概念验证和早期探索阶段。技术社区的相关讨论虽然热度有限，但也反映出业界对显存扩展方向的持续关注。任何新内存技术要真正落地，都需要跨越良率、成本、软件栈适配等多重障碍。

理性看待：机遇与挑战并存

从技术演进的角度看，将存储与内存的界限进一步模糊化，是计算架构发展的一个自然趋势。CXL（Compute Express Link）等新兴互联标准已经在推动内存池化和分层内存的落地。CXL是基于PCIe物理层的开放互联标准，由Intel主导并于2019年发布1.0版本，目前已演进至3.0规范，支持高达64GT/s的传输速率。CXL定义了三种协议子集：CXL.io用于设备发现和配置（类似传统PCIe）；CXL.cache允许设备缓存主机内存并保持一致性；CXL.mem则允许主机以标准load/store指令访问远端设备内存。这意味着通过CXL连接的大容量内存模块可以像本地DRAM一样被加速器透明访问，为构建分解式内存（Disaggregated Memory）架构提供了标准化基础。

CXL内存池化在数据中心的实际部署已进入早期生产阶段。2023年起，Samsung推出了CXL Memory Expander CMM-D系列产品，单模块提供128GB至512GB的DDR5级别内存扩展；Micron的CZ120 CXL内存模块已向超大规模客户供货。在延迟方面，CXL 1.1/2.0通过PCIe 5.0物理层连接，额外引入约80-150纳秒的访问延迟（相对于本地DDR5的约80纳秒），总延迟约为160-230纳秒。CXL 3.0引入了多层交换（Multi-Level Switching）能力，允许构建更大规模的内存池，但额外的交换跳数会进一步增加延迟。值得注意的是，当前GPU（如NVIDIA的产品线）尚未原生支持CXL接口，GPU侧的CXL集成仍是一个开放的技术和商业决策问题。

Meta、Microsoft等超大规模数据中心运营商已开始部署CXL内存池化方案，而GPU领域引入存储级内存则是这一思路在AI硬件方向的延伸。

不过，我们也需要保持审慎态度。带宽仍然是许多AI训练任务的关键性能指标，存储级内存能否在训练场景中发挥作用，取决于其延迟和吞吐能否满足实际需求。训练过程中，前向传播需要读取每一层的权重并写入激活值，反向传播则需要同时读取权重和保存的激活值来计算梯度，几乎所有数据都处于高频访问状态，这与推理时的顺序化、可预测访问模式截然不同。如果存储级内存的带宽仅为HBM的1/10甚至更低，那么在训练场景中直接替代HBM将导致严重的性能下降。

此外，软件生态的适配同样至关重要——深度学习框架层面需要智能地管理数据在不同内存层级间的调度，才能真正释放硬件潜力。这包括但不限于：编译器层面的自动数据放置优化、运行时的动态迁移策略、对应用透明的统一虚拟地址空间管理等。CUDA生态的统一内存（Unified Memory）机制虽然提供了基础的自动页面迁移能力，但针对分层内存的精细化调度仍需大量框架层面的创新工作。

总体而言，存储级内存技术描绘了一个诱人的前景：让GPU摆脱显存容量的桎梏，为更大规模的AI模型提供充足的承载空间。它究竟能在多大程度上兑现「数TB显存」的承诺，仍需时间和实际产品来检验。但可以确定的是，内存架构的创新正在成为下一轮AI硬件竞赛的重要战场。

核心要点

• 显存容量已成为大模型部署的核心瓶颈：HBM技术受限于TSV堆叠层数、封装面积和散热，单卡容量难以突破200GB，而万亿参数模型训练需要数TB内存空间
• 存储级内存提供了容量跃升的可能路径：通过将高密度NAND闪存或新型存储介质引入GPU内存层级，理论上可将单卡可寻址内存扩展至数TB，但需克服1000倍的延迟差异和写入耐久性等挑战
• 分层缓存策略是关键使能技术：利用AI推理负载的可预测访问模式，通过预取和智能调度将热数据保留在HBM、冷数据下沉到大容量层，可有效隐藏延迟差异
• 推理场景是最先受益的应用领域：推理时权重顺序读取、KV缓存冷热分明的特性天然适合分层内存架构，有望将单卡推理能力从百GB级提升至TB级
• CXL等标准为分层内存提供了互联基础：但GPU原生CXL支持、软件栈适配、以及训练场景的高带宽需求仍是待解的关键问题