TPOT
AI推理性能指标，指模型在流式输出阶段生成每个后续token的平均耗时，决定了用户可见的文字滚动速度，与TTFT共同构成响应总延迟的核心分量。
核心事实
时间轴 (近 90 天)
招商银行潮汐调度在推理服务保持TTFT小于5秒、TPOT小于50毫秒的性能指标前提下取得成本收益
招商银行推理实例配置基于TPOT(每token输出时延)的扩缩容指标，当KEDA感知指标超限时回收训练任务占用的卡资源让渡给推理
LLM推理延迟通常细分为首Token延迟（TTFT, Time To First Token）和每Token生成时间（TPOT, Time Per Output Token）
TPOT（Time Per Output Token）指每生成一个后续token的平均耗时，总响应时间大致等于 TTFT + TPOT × 输出token数
大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)
每输出token延迟（TPOT）主要受显存带宽和解码效率制约
每token生成时间（TPOT）衡量模型在自回归解码阶段逐个生成token的速度
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于模型对输入 prompt 的预填充（prefill）阶段耗时
降低 TTFT 更多依赖 prefill 阶段的并行化，降低 TPOT 更多涉及解码阶段的内存带宽优化和批处理策略
还有 1 条时间轴事件
全部知识事实 (12)
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
90%已验证大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)
65%已验证首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于模型对输入 prompt 的预填充（prefill）阶段耗时
65%已验证TTFT（首个token生成时间）是衡量LLM用户体验的核心指标，决定用户从提交请求到看到第一个字符的等待时长
65%待验证招商银行潮汐调度在推理服务保持TTFT小于5秒、TPOT小于50毫秒的性能指标前提下取得成本收益
50%待验证招商银行推理实例配置基于TPOT(每token输出时延)的扩缩容指标，当KEDA感知指标超限时回收训练任务占用的卡资源让渡给推理
50%待验证LLM推理延迟通常细分为首Token延迟（TTFT, Time To First Token）和每Token生成时间（TPOT, Time Per Output Token）
50%待验证TPOT（Time Per Output Token）指每生成一个后续token的平均耗时，总响应时间大致等于 TTFT + TPOT × 输出token数
50%待验证每输出token延迟（TPOT）主要受显存带宽和解码效率制约
50%待验证每token生成时间（TPOT）衡量模型在自回归解码阶段逐个生成token的速度
50%待验证降低 TTFT 更多依赖 prefill 阶段的并行化，降低 TPOT 更多涉及解码阶段的内存带宽优化和批处理策略
50%待验证每 token 生成时间（TPOT）衡量模型在自回归解码阶段逐个生成 token 的速度
50%