已验证90% 置信事实精确时间
Prefill阶段是计算密集型操作,Decode阶段是显存带宽密集型操作
6
来源数
90%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
vLLM推理框架详解:吞吐优化核心原理与面试攻略
bilibiliAI大模型升升2026/6/9
相关事实
待验证Decode阶段属于访存密集型操作,整体吞吐受制于显存带宽而非算力83% 相似待验证LLM 推理请求分为 Prefill(输入)和 Decode(输出)两个阶段,Prefill 可并行读取吞吐极高,Decode 需逐字串行推理占用 GPU 时间显著更长77% 相似待验证输出Token定价高于输入Token是因为Prefill阶段可并行矩阵运算而Decode阶段必须串行自回归解码,Decode阶段GPU吞吐量约为Prefill阶段的1/6到1/1075% 相似待验证Disaggregated Inference架构将Prefill和Decode两个阶段分配到不同的硬件实例上执行74% 相似待验证在硬件层面,Prefill(输入)阶段可以并行读取所有Token并同时计算自注意力矩阵,而Decode(输出)阶段因自回归机制需逐字串行推理,导致GPU利用率骤降71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/489344API
curl https://kongchang.com/api/v1/knowledge/claims/489344MCP
get_claim(id=489344)