待验证50% 置信基准精确时间
在 8 请求爆发的独立执行对比中(每个 532 token 提示词,128 token 输出),单飞+请求完成时释放策略每个跟随者恢复 528 token,平均 TTFT 降低 47.5%,最慢请求完成时间降低 25.8%;单飞+预填充发布后释放策略同样恢复 528 token,平均 TTFT 降低 82.9%,最慢请求完成时间降低 32.4%。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至:2027/1/14
来源
涉及实体
相关事实
待验证据一项基于真实API流量的分析,在7天约411,000次请求中,99.3%的已处理token都是输入token;中位数请求输入3,782 token,只返回147 token。69% 相似待验证prompt缓存机制允许将已处理过的输入前缀缓存在服务端,下一轮请求若以相同前缀开头,则按远低于正常输入的价格读取,缓存常见TTL为5分钟和1小时两种,写入缓存需额外付费。67% 相似待验证Prompt Caching在提示词前缀完全相同且超过约1024 token阈值时命中,缓存token通常按原价的25%甚至更低计费66% 相似待验证一个测算案例:5万token的文档问20个问题,无prompt缓存需约100万输入token,有缓存约15.7万,输入成本降低约84%,首token延迟也更快。65% 相似待验证Prompt caching让多次请求共享的相同前缀只需首次请求完整计费和处理,后续请求命中缓存可降低输入token价格并减少延迟;但缓存不能缩短总上下文长度,长历史仍会占用上下文窗口并抬高延迟。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048422API
curl https://kongchang.com/api/v1/knowledge/claims/1048422MCP
get_claim(id=1048422)