概念fallback架构 / 级联模型架构 / 分层模型架构
分层回退架构
一种将轻量级专用模型与大模型结合使用的系统架构模式,通过置信度路由机制,让小模型处理简单高置信度任务,将复杂边缘案例转发给大模型处理,以平衡成本、速度与准确率
时间轴 (近 90 天)
10月9日
最佳方案不是用决策模型完全替代LLM,而是构建分层回退架构:决策模型→置信度检查→LLM兜底
待验证50%
一种将轻量级专用模型与大模型结合使用的系统架构模式,通过置信度路由机制,让小模型处理简单高置信度任务,将复杂边缘案例转发给大模型处理,以平衡成本、速度与准确率
最佳方案不是用决策模型完全替代LLM,而是构建分层回退架构:决策模型→置信度检查→LLM兜底