已验证75% 置信事实精确时间
TPOT(Time Per Output Token)指每生成一个后续token的平均耗时,总响应时间大致等于 TTFT + TPOT × 输出token数
3
来源数
75%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
已验证TPS的测量通常分为两个阶段:首Token延迟(TTFT)和后续Token的生成速率(Throughput)79% 相似已验证首字延迟(TTFT)指从用户发出请求到模型输出第一个 token 之间的时间间隔,主要受制于 prefill 阶段耗时74% 相似待验证tps(tokens per second)是衡量模型推理速度的核心指标:低于30 tps会明显感到等待,60-100 tps可满足大多数对话与编码需求,100 tps以上则相当流畅。71% 相似待验证对于流式响应,首 token 时间(TTFT)比总时长更能区分不同排障方向,例如 350 毫秒返回首 token 与 8 秒后才返回首 token 的体验和问题根源完全不同。70% 相似待验证用量上限通常以TPM(Tokens Per Minute,每分钟Token数)来衡量70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/910505API
curl https://kongchang.com/api/v1/knowledge/claims/910505MCP
get_claim(id=910505)