待验证50% 置信事实精确时间
大模型推理速度往往不受限于算力（FLOPS），而受限于内存带宽；PCIe 4.0 x16理论带宽约32GB/s，GPU显存带宽（GDDR6X约1TB/s）相差30倍以上
1
来源数
50%
置信度
长期有效
时效性
2026/7/25
首次发现
来源
相关事实
已验证分层加载导致推理速度受限，其根本原因是 PCIe 总线带宽（PCIe 4.0 理论带宽约 32GB/s）远低于 GPU 内部显存带宽84% 相似已验证PCIe 4.0 x16的理论带宽约为32GB/s78% 相似已验证3080Ti的显存带宽为912 GB/s，远高于CPU与GPU之间PCIe总线带宽的16-32 GB/s77% 相似待验证PCIe 4.0 x16带宽约64GB/s，且每次传输需要显式的cudaMemcpy调用，在推理延迟敏感场景中是显著瓶颈77% 相似待验证全精度视频扩散模型推理通常需要24GB以上VRAM的GPU，而0.4MP配10步Turbo加速可能将显存需求降至12-16GB级别76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/613504API
curl https://kongchang.com/api/v1/knowledge/claims/613504MCP
get_claim(id=613504)