概念
多LoRA服务
在同一基础模型上动态挂载多个任务专用LoRA适配器并按请求切换或组合的服务范式,旨在共享底座成本,但面临存储、加载延迟和批处理效率挑战。
时间轴 (近 90 天)
11月3日
多LoRA服务是在同一基础模型上动态挂载多个任务的适配器,按请求切换或组合,以共享底座成本;其核心挑战包括适配器数量增长带来的显存线性占用、按需加载的延迟,以及不同秩适配器混跑时的批处理效率。
待验证50%
11月3日
随着多LoRA服务从实验走向生产,单纯追求压缩率或单纯优化执行内核都不够,必须将两者协同设计。
待验证50%