待验证50% 置信概念精确时间
TTFT（首 Token 等待时间）主要由预填充阶段决定，计算量与上下文长度近似成正比；前缀缓存（prefix caching）可复用已算好的 KV 状态，仅对新增部分做预填充。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
4台DGX Spark实测DeepSeek V4.1 Flash：本地推理生产力如何？
bilibiliAI一平米2026/10/20
涉及实体
相关事实
已验证TTFT（首个token生成时间）是衡量LLM用户体验的核心指标，决定用户从提交请求到看到第一个字符的等待时长73% 相似待验证LLM推理延迟通常细分为首Token延迟（TTFT, Time To First Token）和每Token生成时间（TPOT, Time Per Output Token）72% 相似待验证在线推理追求首 token 延迟和尾延迟，需要连续批处理、抢占式调度和精细的 KV Cache 分页管理。67% 相似待验证幂等键通常需要设置合理的TTL（如24小时），并与操作记录表配合使用，以便在键过期后仍能通过对账逻辑识别已完成的动作。65% 相似待验证首字节响应时间（TTFB）反映从请求发出到模型返回第一个token之间的延迟，涵盖网络传输、请求队列等待和模型预热时间64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1077060API
curl https://kongchang.com/api/v1/knowledge/claims/1077060MCP
get_claim(id=1077060)