待验证50% 置信基准精确时间
在 8 个各生成 128 token 输出的并发请求下,单飞策略(请求完成时释放)相比独立执行同时降低了平均 TTFT 和最慢请求的完成延迟;但在只有 2 个请求时,平均 TTFT 反而比独立执行更差。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至:2027/1/14
来源
涉及实体
相关事实
待验证该研究发现,在获得充足CPU资源的情况下,从发送请求到收到第一个token的等待时间(TTFT)在测试的多种配置中缩短了1.47至7.11倍。71% 相似待验证官方宣传的7倍以上加速主要指向 TPS(每秒生成 token 数)即生成阶段吞吐提升,而非必然意味着 TTFT 同等幅度降低66% 相似待验证高聚合吞吐往往以更大的批次为代价,而大批次会推高单请求的首 token 延迟(TTFT)66% 相似待验证当节点只是响应变慢或只影响少量请求时,聚合后的平均指标会被大量正常请求稀释,无法越过告警线65% 相似待验证当同一套权重为循环次数不同的请求服务时,不同请求完成时间会错位,拉平不同档位模型的表观吞吐速度65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048420API
curl https://kongchang.com/api/v1/knowledge/claims/1048420MCP
get_claim(id=1048420)