已验证85% 置信事实时间未知
TPS的测量通常分为两个阶段:首Token延迟(TTFT)和后续Token的生成速率(Throughput)
5
来源数
85%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
涉及实体
相关事实
待验证首字延迟(TTFT)指从用户发出请求到模型输出第一个 token 之间的时间间隔,主要受制于 prefill 阶段耗时72% 相似待验证缓存命中时prefill阶段可跳过已缓存部分,TTFT可从数秒压缩至毫秒级71% 相似待验证云端 TTS 服务的首字节响应时间通常为 200-500 毫秒,是延迟瓶颈的主要来源67% 相似待验证三明治架构相比原生Speech-to-Speech多了两次转换环节,STT环节通常增加100-300毫秒,TTS环节增加100-200毫秒67% 相似待验证TLS 检查代理通常对长时间保持的连接设有超时限制(常见配置为 30-120 秒),超时后会强制关闭连接导致事件流中断67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/18528API
curl https://kongchang.com/api/v1/knowledge/claims/18528MCP
get_claim(id=18528)