待验证85% 置信事实精确时间

传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈

1

来源数

85%

置信度

长期有效

时效性

2026/5/21

首次发现

来源

AMD GPU部署PD分离式SGLang多节点推理集群教程

twitterlmsysorg2026/5/21

涉及实体

TTFTconcept Prefillconcept Decodeconcept

相关事实

待验证TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束77% 相似待验证推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标76% 相似待验证LLM推理的prefill阶段并行处理输入所有token并生成初始KV Cache，是计算密集型操作，是TTFT的直接决定因素73% 相似待验证缓存命中时prefill阶段可跳过已缓存部分，TTFT可从数秒压缩至毫秒级69% 相似待验证Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/557

API

curl https://kongchang.com/api/v1/knowledge/claims/557

MCP

get_claim(id=557)