已验证70% 置信事实精确时间
大模型推理的速度瓶颈是内存带宽而非算力不足，每生成一个token需要从内存加载数百GB的模型权重
4
来源数
70%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30
来源
相关事实
待验证Many large model inference workloads are bottlenecked by memory capacity rather than pure bandwidth85% 相似待验证Models with hundreds of billions or trillions of parameters can require hundreds of gigabytes or several terabytes of memory when accounting for weights, activations, and optimizer states82% 相似待验证当显存不足时，系统会将模型的一部分卸载到主内存中运行，此时主内存的容量与带宽直接影响推理速度80% 相似待验证大语言模型动辄数十GB，其加载时间和内存占用对传统弹性伸缩策略提出新挑战77% 相似待验证显存容量决定能加载的模型/数据规模，带宽决定计算吞吐；对于大模型推理，显存容量是硬门槛（放不下就跑不了），HBM带宽次之；对于访存密集型HPC，带宽比容量更关键76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/58546API
curl https://kongchang.com/api/v1/knowledge/claims/58546MCP
get_claim(id=58546)