待验证50% 置信基准精确时间
在负载下Agent会话的P99 TTFT下降9.5倍；当前端被长请求占满时，这一数字达到23倍。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
Delta Tokenizer：会话增量与多核并行如何让长提示词分词提速40倍
rss2026/10/14
涉及实体
相关事实
待验证当用户触达API速率上限时，API通常会返回HTTP 429状态码（Too Many Requests）62% 相似待验证整体 P90 尾部延迟下降 22%。61% 相似待验证一张24GB显存的RTX 3090同时运行Whisper ASR、TTS语音模型和nomic-embed-text三个服务时，三个模型常驻占用17.8GB（72%），一周内峰值达到23.4GB，全程没有溢出到系统内存59% 相似待验证通过 request-owned speculative KV，在 DeepSeek-V4-Pro 1P1D、MI355X、并发 256 场景下，平均 TTFT 从 19.4 秒降至 15.1 秒59% 相似待验证直接用网络调试助手做TCP测速速率只有约31兆，原因是调试助手回复ACK不够快59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038166API
curl https://kongchang.com/api/v1/knowledge/claims/1038166MCP
get_claim(id=1038166)