Nvidia

7B模型使用470万token训练数据训练5轮需要4张A100显卡，直接计算成本约在2000-4000元

NVIDIA A100单卡拥有80GB HBM2e显存和312 TFLOPS的FP16算力

国内主流云服务商单张A100的租用成本约为25-35元/小时

NVIDIA发布了NVQ Link，一种用于连接量子处理器和GPU的高速互联架构

NVIDIA A100拥有6912个CUDA核心和432个Tensor Core，理论峰值算力达到312 TFLOPS（BF16）

A100的Tensor Core可以在单个时钟周期内完成一个4×4矩阵的乘加运算

NVIDIA提供了NVIDIA Container Toolkit，使Docker容器能够直接访问宿主机的GPU资源

美国在基础模型研发（OpenAI的GPT系列、Anthropic的Claude、Google的Gemini）和高端AI芯片设计（NVIDIA、AMD）方面保持领先

美国自2022年起对中国实施先进半导体出口管制，限制高端AI训练芯片如NVIDIA A100/H100及其后续产品的出口

苹果原本计划与博通合作设计定制AI芯片（预计2026年量产），但已转向直接采购英伟达H100/B200等GPU集群