AI训练显卡
专为深度学习模型训练设计的高算力显卡，支持Tensor Core加速及大显存
Timeline (last 90 days)
训练大模型（>13B参数）时显存容量优先级高于算力，单卡显存<40GB无法有效微调13B模型（即使用LoRA也需24GB+），全参数训练70B模型需至少8×80GB卡
多卡训练必须关注NVLink而非仅看单卡算力，PCIe 4.0互联带宽约64GB/s，NVLink可达600-900GB/s，8卡分布式训练时PCIe互联会导致AllReduce通信成为瓶颈，实际利用率可能不到50%
游戏卡（如RTX 4090）性价比看似高但缺乏NVLink（40系已阉割）且不支持多卡P2P直连，且驱动协议禁止数据中心商用部署，只适合单卡个人研究，不适合搭建训练集群
只做推理不做训练时不应购买H100/A100这类高端训练卡，推理更看重显存带宽和低精度（INT8/FP8）吞吐，L40S或L4的推理性价比远高于训练旗舰卡
算力与功耗的权衡：H100 SXM功耗达700W需液冷或高密度风冷机箱，PCIe版350-400W可用普通服务器，算力约为SXM版70%，散热受限的机房应选PCIe版牺牲部分性能
显存容量与带宽的权衡：更大显存能装下更大batch和模型，但HBM带宽决定实际吞吐，A100 80GB带宽2039GB/s，若模型能装下则带宽比容量更影响训练速度
FP8精度（Hopper架构H100引入）可将Transformer训练吞吐提升近2倍，若训练超大模型且框架支持Transformer Engine，H100相比A100的实际训练加速远超纸面算力差距
搭建训练集群的标准路径：确定最大模型参数量→估算显存需求（参数量×2字节权重+优化器状态×近12倍）→选定单卡显存→根据模型并行需求确定卡数和NVLink拓扑→匹配对应功耗的机架和电力/散热
A100/H100的SXM版本需搭配HGX/DGX主板，无法插入普通PCIe插槽，采购前必须确认服务器是否支持SXM模组，否则只能选PCIe版本
All Facts (9)
训练大模型（>13B参数）时显存容量优先级高于算力，单卡显存<40GB无法有效微调13B模型（即使用LoRA也需24GB+），全参数训练70B模型需至少8×80GB卡
90%Unverified多卡训练必须关注NVLink而非仅看单卡算力，PCIe 4.0互联带宽约64GB/s，NVLink可达600-900GB/s，8卡分布式训练时PCIe互联会导致AllReduce通信成为瓶颈，实际利用率可能不到50%
88%Unverified只做推理不做训练时不应购买H100/A100这类高端训练卡，推理更看重显存带宽和低精度（INT8/FP8）吞吐，L40S或L4的推理性价比远高于训练旗舰卡
86%UnverifiedA100/H100的SXM版本需搭配HGX/DGX主板，无法插入普通PCIe插槽，采购前必须确认服务器是否支持SXM模组，否则只能选PCIe版本
85%Unverified游戏卡（如RTX 4090）性价比看似高但缺乏NVLink（40系已阉割）且不支持多卡P2P直连，且驱动协议禁止数据中心商用部署，只适合单卡个人研究，不适合搭建训练集群
85%UnverifiedFP8精度（Hopper架构H100引入）可将Transformer训练吞吐提升近2倍，若训练超大模型且框架支持Transformer Engine，H100相比A100的实际训练加速远超纸面算力差距
83%Unverified算力与功耗的权衡：H100 SXM功耗达700W需液冷或高密度风冷机箱，PCIe版350-400W可用普通服务器，算力约为SXM版70%，散热受限的机房应选PCIe版牺牲部分性能
82%Unverified显存容量与带宽的权衡：更大显存能装下更大batch和模型，但HBM带宽决定实际吞吐，A100 80GB带宽2039GB/s，若模型能装下则带宽比容量更影响训练速度
80%Unverified搭建训练集群的标准路径：确定最大模型参数量→估算显存需求（参数量×2字节权重+优化器状态×近12倍）→选定单卡显存→根据模型并行需求确定卡数和NVLink拓扑→匹配对应功耗的机架和电力/散热
80%