待验证60% 置信基准精确时间
长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出,共同解码窗口总吞吐每秒214.85个Token,每请求约26.86,但窗口只有约2.28秒且预填充串行或交错
2
来源数
60%
置信度
长期有效
时效性
2026/9/15
首次发现
来源
涉及实体
相关事实
待验证将llm-retry的max_attempts提升到8次后,100个调用全部通过,但耗时16.6秒,是理论下限的两倍多,且发送了375次请求。78% 相似待验证8用户各128K上下文时,缓存命中的后续轮次首token只需0.2到2.5秒78% 相似待验证并发场景下多个请求会平均分摊生成速度,例如单请求40 token/s时4并发下每个约10 token/s76% 相似待验证±10%抖动导致所有在0秒失败的客户端等待450-550毫秒,80个重试挤在同一100毫秒窗口内到达,形成波次,无法有效打散重试时间。75% 相似待验证客户端限流器按服务端补充速率分配发送时隙,在测试中实现100个全部成功、100次请求、0个429、最后一个答案在8.0秒完成。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/923191API
curl https://kongchang.com/api/v1/knowledge/claims/923191MCP
get_claim(id=923191)