概念Fallback
降级
在主模型不可用或响应超时时,自动切换到备用模型或提供商的机制,用于保障LLM服务的连续性。
时间轴 (近 90 天)
10月27日
降级设计的关键是提前定义触发条件与降级层级,并在非故障期做演练验证,因为临时拼凑的 fallback 可能在真正故障时出现接口不兼容或输出格式不一致
待验证50%
10月22日
降级策略指当主模型超时或不可用时,自动切换到备用模型或缓存结果,以保证服务可用性。
待验证50%
10月22日
降级设计的难点在于确定降级后行为是否可接受,因此需要按决策重要性分级:关键决策应保守拒绝,非关键决策可宽松放行。
待验证50%
10月22日
降级本身要可观测,否则长期静默降级会让团队误以为决策服务运行正常。
待验证50%
10月8日
fallback链是指当主模型调用失败时自动降级到更简单的响应策略,而不是直接向用户暴露500错误
待验证50%