[控场AI]
概念Token Bucket

令牌桶算法

一种流量整形算法,通过维护一个固定容量的令牌桶来控制请求速率,常用于API限流控制和网络流量管理

核心事实

时间轴 (近 90 天)

10月19日

100个调用同时冲击令牌桶(容量20,每秒补充10个)的理论最优完成时间是8.0秒。

待验证50%
10月15日

LLM provider执行的是带短期速率平滑的令牌桶或漏桶算法,而非硬性每分钟批量计数器

待验证50%
10月14日

配额与限流层通常使用令牌桶或漏桶算法,计数器存放在Redis等高速缓存中,用原子操作保证并发下不超发。

待验证50%
9月8日

分级限流通常依赖令牌桶算法或滑动窗口计数器,实现动态资源调整

待验证50%

全部知识事实 (5)

来源文章