待验证60% 置信事实精确时间
GPU HBM带宽通常在2-3 TB/s量级,H100为3.35 TB/s,而PCIe 5.0连接的Host DRAM有效带宽仅约64 GB/s,两者相差近50倍
2
来源数
60%
置信度
长期有效
时效性
2026/7/11
首次发现
来源
TB/s内存层加速SGLang:X-Mem让TTFT降低6.7倍的技术解析
twitterlmsysorg2026/7/8
相关事实
已验证A100 GPU的HBM带宽约2TB/s,而片上SRAM带宽可达19TB/s,相差近10倍83% 相似待验证KV cache 换入换出依赖主机内存与 GPU 显存之间的互联带宽;以 PCIe 4.0 x16 为例,单向有效带宽约 25 GB/s 量级,而单张数据中心 GPU 的 HBM 带宽可达 2–3 TB/s,相差约两个数量级。79% 相似待验证NVIDIA H100的HBM3显存带宽高达3.35TB/s,而Ryzen AI Halo受限于LPDDR5x带宽通常在100-300GB/s量级79% 相似待验证HBM3E单颗堆叠可包含8至12层DRAM die,提供超过1TB/s的带宽79% 相似待验证英伟达H100配备80GB HBM3,内存带宽达3.35 TB/s,NVLink 4.0提供900 GB/s双向带宽79% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/486856API
curl https://kongchang.com/api/v1/knowledge/claims/486856MCP
get_claim(id=486856)