概念故障切换模型
fallback_models
在主模型调用失败时自动切换使用的备选模型列表,需保证工具调用、结构化输出等能力对齐。
时间轴 (近 90 天)
10月30日
主模型失败时,fallback_models可以把调用转移到另一个供应商,前提是备选模型支持相同的工具与功能(如function calling schema、JSON mode、上下文窗口大小)。
待验证50%
10月30日
降级切换的难点不在于发起重试,而在于能力对齐,否则切换会因不兼容而失败。
待验证50%
在主模型调用失败时自动切换使用的备选模型列表,需保证工具调用、结构化输出等能力对齐。
主模型失败时,fallback_models可以把调用转移到另一个供应商,前提是备选模型支持相同的工具与功能(如function calling schema、JSON mode、上下文窗口大小)。
降级切换的难点不在于发起重试,而在于能力对齐,否则切换会因不兼容而失败。