待验证50% 置信基准精确时间
客户端限流器按服务端补充速率分配发送时隙，在测试中实现100个全部成功、100次请求、0个429、最后一个答案在8.0秒完成。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证在供应商宕机测试中，直连方式在 60 秒内向已死供应商发送了 89 次调用（30 个请求各重试 3 次），而通过代理仅发送 5 次调用，减少 94%，因熔断器在连续 5 次失败后打开。79% 相似待验证将llm-retry的max_attempts提升到8次后，100个调用全部通过，但耗时16.6秒，是理论下限的两倍多，且发送了375次请求。76% 相似待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出，共同解码窗口总吞吐每秒214.85个Token，每请求约26.86，但窗口只有约2.28秒且预填充串行或交错75% 相似待验证并发场景下多个请求会平均分摊生成速度，例如单请求40 token/s时4并发下每个约10 token/s74% 相似待验证代码中的重试循环最多尝试 4 次，指数退避从 500 毫秒开始，并在服务提供 Retry-After 响应头时优先遵守该头部值。74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1064750API
curl https://kongchang.com/api/v1/knowledge/claims/1064750MCP
get_claim(id=1064750)