Unverified50% confidenceBenchmarkExact time
以70B的BF16模型为例，产生一个token需读入约140GB权重，打满H100的3.35TB/s显存带宽时每token延迟至少42毫秒，理论TPS上限约24 token/秒
1
Sources
50%
Confidence
Long-term
Relevance
9/23/2026
First Seen
Sources
Related Entities
Related Claims
Unverified标称最高200MB/s读取速度需要搭配支持A2规格的读卡器才能接近峰值，普通UHS-I读卡器通常只能达到约100MB/s左右77% similarUnverified写入速度实测通常在260MB/s左右，虽达V90标准但低于标称读取300MB/s，连拍缓存清除速度属同级主流水平77% similarUnverified对于70B模型（序列长度2048、隐藏层维度8192），每层激活值约32MB，在InfiniBand(400Gbps)中约需0.6毫秒，而在50Mbps家庭宽带下需超过5秒77% similarUnverified标称读取170MB/s需要搭配支持Kingston特定加速技术的读卡器才能接近，普通UHS-I读卡器实际读取速度通常在100MB/s左右76% similarUnverified标称160MB/s读取速度需要UHS-I兼容读卡器才能接近峰值，使用老旧读卡器或设备时实际传输速度会明显低于标称值76% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/942617API
curl https://kongchang.com/api/v1/knowledge/claims/942617MCP
get_claim(id=942617)