待验证50% 置信事实精确时间
LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
待验证Prefill阶段计算密集依赖内存容量，Decode阶段串行自回归依赖内存带宽，解码可交给Groq LPU、Cerebras WSE等推理芯片处理78% 相似待验证LLM解码过程是内存带宽受限（memory bound）的，GPU在逐token生成时大部分时间处于等待数据搬运的状态74% 相似待验证长上下文在首次推理时需完整计算KV Cache，消耗GPU计算资源并占用显存带宽，拉长首token延迟（TTFT）72% 相似待验证自回归推理的decode阶段是纯粹的内存带宽受限操作，将模型从FP16压缩到1-bit理论上可将token生成速度提升16倍71% 相似待验证传统GPU如NVIDIA A100/H100在推理阶段面临内存带宽瓶颈，模型权重需要在每次生成Token时从显存反复读取69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/503794API
curl https://kongchang.com/api/v1/knowledge/claims/503794MCP
get_claim(id=503794)