待验证50% 置信事实精确时间

预填充(prefill)阶段指模型一次性处理输入prompt的过程，计算量与输入长度成正比，长文档场景下首个token等待时间(TTFT)会显著拉长

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

本地部署大模型选型指南：别再盯着参数和排行榜

涉及实体

prefillconcept TTFTconcept

相关事实

待验证在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感77% 相似待验证传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈75% 相似待验证现代大模型推理通常采用批处理技术提高GPU利用率，高峰期批处理队列积压会导致首个Token等待时间（TTFT）变长73% 相似待验证对流式响应场景，应重点关注首Token延迟（TTFT）而非整体完成时间71% 相似已验证推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1005242

API

curl https://kongchang.com/api/v1/knowledge/claims/1005242

MCP

get_claim(id=1005242)