待验证50% 置信基准精确时间
TokenGate使LLM预填充阶段的时间到首token（TTFT）缩短最多11.3倍。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/25
首次发现
有效期至：2027/1/23
来源
涉及实体
相关事实
待验证缓存命中时prefill阶段可跳过已缓存部分，TTFT可从数秒压缩至毫秒级74% 相似已验证首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时70% 相似待验证根据官方数据，相比传统的轮询负载均衡，KV感知路由可将首Token延迟（TTFT）降低高达40%，整体吞吐量提升25-30%。69% 相似待验证对于流式响应，首 token 时间（TTFT）比总时长更能区分不同排障方向，例如 350 毫秒返回首 token 与 8 秒后才返回首 token 的体验和问题根源完全不同。68% 相似待验证当前主流大模型在处理复杂代码任务时，首token延迟（TTFT）往往在2-8秒之间67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1096553API
curl https://kongchang.com/api/v1/knowledge/claims/1096553MCP
get_claim(id=1096553)