概念Token Bucket
令牌桶算法
一种流量整形算法,通过维护一个固定容量的令牌桶来控制请求速率,常用于API限流控制和网络流量管理
核心事实
时间轴 (近 90 天)
10月19日
100个调用同时冲击令牌桶(容量20,每秒补充10个)的理论最优完成时间是8.0秒。
待验证50%
10月15日
LLM provider执行的是带短期速率平滑的令牌桶或漏桶算法,而非硬性每分钟批量计数器
待验证50%
10月14日
配额与限流层通常使用令牌桶或漏桶算法,计数器存放在Redis等高速缓存中,用原子操作保证并发下不超发。
待验证50%
9月8日
分级限流通常依赖令牌桶算法或滑动窗口计数器,实现动态资源调整
待验证50%