概念Time To First Token / 首个token生成时间

TTFT

大语言模型推理中衡量用户体验的核心指标，指从提交请求到看到第一个输出字符的等待时长，主要受prefill预填充阶段决定

来源文章