模型
FrugalGPT
面向成本优化的LLM路由研究系统,通过任务难度评估将请求路由到性价比最优的模型,以降低大语言模型使用成本
时间轴 (近 90 天)
10月13日
学术界的RouteLLM、FrugalGPT等工作使用训练好的分类器预测任务难度,在弱模型与强模型之间动态切换,在保证质量的前提下压降成本。
待验证50%
面向成本优化的LLM路由研究系统,通过任务难度评估将请求路由到性价比最优的模型,以降低大语言模型使用成本
学术界的RouteLLM、FrugalGPT等工作使用训练好的分类器预测任务难度,在弱模型与强模型之间动态切换,在保证质量的前提下压降成本。