待验证50% 置信事实精确时间
命中前缀缓存时，数万 token 的重复 prefill 可以近乎跳过，首 token 延迟从数秒降到毫秒级。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证在相同实验设置下，生成 1016 个 token 的总耗时从 14.66 秒降至 5.03 秒。79% 相似待验证8 人并发时，每人 19 tokens/s，合计 130 tokens/s，首 token 延迟 2 到 8 秒76% 相似待验证百万 token 输出的耗时可能达到数分钟级别，集成时需要设计异步调用和进度反馈机制。76% 相似待验证在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下，Superfluid 用 0.36 秒给出回答，llama-server 超过 10 秒未输出首 token，首 token 延迟差距约 30 倍。74% 相似待验证通常认为单并发 100 tokens/秒以上即可实现流畅的打字机效果，约 200 tokens/秒生成 2000 字长文本仅需约 10 秒74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1062229API
curl https://kongchang.com/api/v1/knowledge/claims/1062229MCP
get_claim(id=1062229)