待验证50% 置信事实精确时间

tokens/s指标可细分为首token延迟（TTFT）和生成速率（Generation Throughput）两个子维度

1

来源数

50%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

vLLM推理框架详解：吞吐优化核心原理与面试攻略

bilibiliAI大模型升升2026/6/9

相关事实

待验证推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标71% 相似待验证对流式响应场景，应重点关注首Token延迟（TTFT）而非整体完成时间64% 相似待验证自回归生成具有串行依赖性，第N个Token必须等待第N-1个Token生成完毕，导致大模型输出速度通常只有每秒数十Token64% 相似待验证传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈64% 相似待验证LLMOps核心指标包括每千Token成本、首Token延迟（TTFT）、提示词命中率和幻觉发生频率63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/488588

API

curl https://kongchang.com/api/v1/knowledge/claims/488588

MCP

get_claim(id=488588)