TTFT
大语言模型推理中衡量用户体验的核心指标，指从提交请求到看到第一个输出字符的等待时长，主要受prefill预填充阶段决定
核心事实
时间轴 (近 90 天)
Human ear tolerance for conversation gaps is about 300 milliseconds; exceeding this makes the other party feel 'spaced out'.
长上下文会显著拉高首token时间，因为prefill计算量随输入长度增长，命中缓存可以跳过大部分prefill，直接改善首token延迟。
该研究发现，在获得充足CPU资源的情况下，从发送请求到收到第一个token的等待时间（TTFT）在测试的多种配置中缩短了1.47至7.11倍。
预填充(prefill)阶段指模型一次性处理输入prompt的过程，计算量与输入长度成正比，长文档场景下首个token等待时间(TTFT)会显著拉长
大多数公开API不暴露首Token延迟和每秒Token吞吐量这两个指标
仅用完成时间作为优化指标会掩盖对真实用户体验至关重要的首字节出现时间（TTFB/TTFT）
更长的上下文意味着更高的首Token时延（TTFT），且Token数量与推理费用直接线性相关
激进地批量化prefill可以提升吞吐但会拖高TTFT，而保证TTFT会压缩prefill批次，两个优化目标相互冲突
更高的显存带宽意味着更低的首 token 延迟（TTFT）和更高的每秒生成 token 数（TPS）
前缀缓存通过复用相同上下文前缀的KV向量缓存，可为AI智能体场景带来50%-80%的计算节省，并显著降低首token延迟（TTFT）
还有 36 条时间轴事件
全部知识事实 (20)
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
90%已验证TPS的测量通常分为两个阶段：首Token延迟（TTFT）和后续Token的生成速率（Throughput）
85%已验证TPS（Tokens Per Second）是衡量大语言模型推理速度的核心指标，特指模型在生成阶段每秒输出的 token 数量
75%已验证推理延迟通常分解为首token延迟（TTFT）和后续token生成吞吐量两个核心指标
75%已验证数字人场景中WebRTC端到端延迟通常需要控制在500毫秒以内才能保证自然流畅的交互体验
75%已验证首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于模型对输入 prompt 的预填充（prefill）阶段耗时
65%已验证TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束
65%待验证传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈
85%待验证PD分离架构通过物理隔离消除Prefill对Decode的干扰，显著改善TTFT的P99延迟
85%待验证大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)
60%待验证首字节响应时间（TTFB）反映从请求发出到模型返回第一个token之间的延迟，涵盖网络传输、请求队列等待和模型预热时间
60%待验证当前主流大模型在处理复杂代码任务时，首token延迟（TTFT）往往在2-8秒之间
60%待验证Human ear tolerance for conversation gaps is about 300 milliseconds; exceeding this makes the other party feel 'spaced out'.
50%待验证长上下文会显著拉高首token时间，因为prefill计算量随输入长度增长，命中缓存可以跳过大部分prefill，直接改善首token延迟。
50%待验证该研究发现，在获得充足CPU资源的情况下，从发送请求到收到第一个token的等待时间（TTFT）在测试的多种配置中缩短了1.47至7.11倍。
50%待验证预填充(prefill)阶段指模型一次性处理输入prompt的过程，计算量与输入长度成正比，长文档场景下首个token等待时间(TTFT)会显著拉长
50%待验证大多数公开API不暴露首Token延迟和每秒Token吞吐量这两个指标
50%待验证仅用完成时间作为优化指标会掩盖对真实用户体验至关重要的首字节出现时间（TTFB/TTFT）
50%待验证更长的上下文意味着更高的首Token时延（TTFT），且Token数量与推理费用直接线性相关
50%待验证激进地批量化prefill可以提升吞吐但会拖高TTFT，而保证TTFT会压缩prefill批次，两个优化目标相互冲突
50%