待验证50% 置信事实精确时间
启用长思考链的High配置在prefill阶段需处理大量内部推理token，因此TTFT通常是普通版本的数倍甚至数十倍
1
来源数
50%
置信度
长期有效
时效性
2026/9/30
首次发现
来源
涉及实体
相关事实
待验证传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈75% 相似待验证现代大模型推理通常采用批处理技术提高GPU利用率，高峰期批处理队列积压会导致首个Token等待时间（TTFT）变长70% 相似已验证推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标68% 相似待验证高聚合吞吐往往以更大的批次为代价，而大批次会推高单请求的首 token 延迟（TTFT）66% 相似待验证推理强度档位（low/medium/high/xhigh）本质上是控制模型被允许生成的思维链token数上限，档位越高等待时间越长65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/963318API
curl https://kongchang.com/api/v1/knowledge/claims/963318MCP
get_claim(id=963318)