[控场AI]
概念model fallback

模型回退

一种提高LLM服务可用性的容错策略:当主模型重试耗尽仍不可用时,自动切换到备选模型列表中的下一个模型,代价是可能牺牲输出一致性。

时间轴 (近 90 天)

10月17日

模型回退(model fallback)指当主模型在重试耗尽后仍不可用时,自动切换到备选模型列表中的下一个模型,其代价是不同模型在输出风格、格式遵循、知识时效上可能存在差异。

待验证50%
10月17日

模型回退解决的是可用性而非一致性,若下游对输出格式或风格有严格要求,换模型可能带来额外校验成本,因此适用于对一致性要求不高的场景或作为最后一道防线。

待验证50%
10月17日

三层防护的优先级为:能在同一模型内重试解决的不换模型,只有重试耗尽才进入回退环节。

待验证50%
10月16日

在多供应商场景下,权限检查必须在模型回退(fallback)解析之后执行,因为请求可能完全没有携带具体的模型参数。

待验证50%
10月1日

模型回退会在主模型不可用或质量不达标时切换到备用模型,而备用模型的定价可能完全不同

待验证50%

全部知识事实 (5)

来源文章