Unverified50% confidenceFactExact time
tokens/s指标可细分为首token延迟（TTFT）和生成速率（Generation Throughput）两个子维度
1
Sources
50%
Confidence
Long-term
Relevance
7/11/2026
First Seen
Sources
vLLM推理框架详解：吞吐优化核心原理与面试攻略
bilibiliAI大模型升升6/9/2026
Related Claims
Unverified推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标71% similarUnverified对流式响应场景，应重点关注首Token延迟（TTFT）而非整体完成时间64% similarUnverified自回归生成具有串行依赖性，第N个Token必须等待第N-1个Token生成完毕，导致大模型输出速度通常只有每秒数十Token64% similarUnverified传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈64% similarUnverifiedLLMOps核心指标包括每千Token成本、首Token延迟（TTFT）、提示词命中率和幻觉发生频率63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/488588API
curl https://kongchang.com/api/v1/knowledge/claims/488588MCP
get_claim(id=488588)