待验证50% 置信事实精确时间
H100的峰值算术强度约为295 FLOPs/Byte，当batch size大于该值时是计算受限，小于则是内存受限
1
来源数
50%
置信度
长期有效
时效性
2026/9/23
首次发现
来源
涉及实体
相关事实
待验证LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载65% 相似已验证NVIDIA H20 的 BF16 峰值算力约为 296 TFLOPS，相比 H100 的 989 TFLOPS 大幅削减，但保留了 141GB HBM3 显存与 4.0 TB/s 显存带宽64% 相似待验证H20拥有96GB HBM3显存，L20的FP8算力约为H20的一半左右63% 相似待验证Llama 2 13B在H100上batch size为1时延迟约8毫秒每token、吞吐约124 tokens/秒，batch size 256时需要约240GB内存，单张H100放不下63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/942433API
curl https://kongchang.com/api/v1/knowledge/claims/942433MCP
get_claim(id=942433)