待验证50% 置信基准精确时间

Llama 2 13B在H100上batch size为1时延迟约8毫秒每token、吞吐约124 tokens/秒，batch size 256时需要约240GB内存，单张H100放不下

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

深入理解大模型推理：为什么生成如此之慢，又该如何加速

涉及实体

Llama 2 13Bmodel H100product

相关事实

待验证M5 Max的token生成速度大约在10-30 tokens/s范围（取决于模型规模），而NVIDIA H100的HBM3显存带宽高达3.35TB/s，推理速度可达本地设备的数十倍70% 相似待验证Llama 3.1 7B量化后仅需约4-5GB显存即可运行67% 相似待验证A100每SM共享内存容量为164KB（可配置），H100提升至228KB67% 相似待验证在配备96GB显存的M2 Max上以1-bit精度运行时，简单任务生成速度稳定在约28-30 tokens/秒66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/942436

API

curl https://kongchang.com/api/v1/knowledge/claims/942436

MCP

get_claim(id=942436)