待验证50% 置信事实精确时间
LiteLLM支持配置fallback列表，当主Provider返回429或5xx时自动按序切换，并可设置每个Provider的rpm上限以主动避免触发限流
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/11
首次发现
有效期至：2027/1/9
来源
涉及实体
相关事实
待验证LiteLLM 支持为同一模型配置不同量化版本，针对不同操作灵活调度65% 相似待验证LiteLLM通过维护一张覆盖100+模型的能力映射表来实现统一调用60% 相似待验证vLLM配置参数包括--tensor-parallel-size（张量并行度）、--gpu-memory-utilization（显存占用比例上限）、--max-num-batched-tokens（最大批处理token数）等59% 相似待验证消除 TRT-LLM ragged prefill 路径中的多余同步可让 GPU 保持更连续的计算流，在变长输入批处理场景中获得更高吞吐和更稳定延迟59% 相似已验证Groq采用LPU架构，通过编译时静态调度实现确定性计算调度，消除运行时调度开销以获得极低且一致的延迟58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/996196API
curl https://kongchang.com/api/v1/knowledge/claims/996196MCP
get_claim(id=996196)