概念TTFT / Time to First Token
首字延迟
大模型推理性能指标,指用户发出请求到模型输出第一个Token的时间,反映预填充阶段效率
核心事实
时间轴 (近 90 天)
9月16日
评估本地模型速度的两个常见指标是首字延迟(TTFT)和生成速度(tokens/s)
待验证50%
9月12日
首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标
已验证75%
大模型推理性能指标,指用户发出请求到模型输出第一个Token的时间,反映预填充阶段效率
评估本地模型速度的两个常见指标是首字延迟(TTFT)和生成速度(tokens/s)
首次音频时间(TTFA)指从文本输入到第一帧可播放音频输出所经历的时间,是衡量流式TTS系统响应速度的核心指标