待验证70% 置信事实精确时间
LLM 推理通常是内存带宽瓶颈而非计算瓶颈，量化通过减少内存带宽需求提升吞吐
2
来源数
70%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
待验证LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽75% 相似已验证大模型推理的速度瓶颈是内存带宽而非算力不足，每生成一个token需要从内存加载数百GB的模型权重74% 相似待验证显存容量决定能加载的模型/数据规模，带宽决定计算吞吐；对于大模型推理，显存容量是硬门槛（放不下就跑不了），HBM带宽次之；对于访存密集型HPC，带宽比容量更关键73% 相似待验证稀疏激活技术通过条件计算机制仅激活与当前输入最相关的参数子集，可减少从HBM加载的权重数据量，缓解内存墙带宽瓶颈73% 相似待验证运行本地LLM时显存容量往往比计算速度更为关键，显存容量直接决定了能运行哪些模型72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/888703API
curl https://kongchang.com/api/v1/knowledge/claims/888703MCP
get_claim(id=888703)