待验证50% 置信基准精确时间
最坏情况是8个用户同时发送全新的128K提示,所有人等约2.5分钟才拿到首token
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/9
首次发现
有效期至:2027/2/7
来源
涉及实体
相关事实
待验证8用户各128K上下文时,缓存命中的后续轮次首token只需0.2到2.5秒74% 相似待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出,共同解码窗口总吞吐每秒214.85个Token,每请求约26.86,但窗口只有约2.28秒且预填充串行或交错67% 相似待验证P95延迟达到10秒意味着每20个用户里就有1个会遭遇令人沮丧的等待体验66% 相似待验证在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下,Superfluid 用 0.36 秒给出回答,llama-server 超过 10 秒未输出首 token,首 token 延迟差距约 30 倍。64% 相似待验证在供应商宕机测试中,直连方式在 60 秒内向已死供应商发送了 89 次调用(30 个请求各重试 3 次),而通过代理仅发送 5 次调用,减少 94%,因熔断器在连续 5 次失败后打开。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1150590API
curl https://kongchang.com/api/v1/knowledge/claims/1150590MCP
get_claim(id=1150590)