[控场AI]
概念expert adapters

专家适配器

专家适配器是针对 MoE 模型中每个专家分别挂载的 LoRA 适配器,可优化推理效率。

时间轴 (近 90 天)

10月17日

vLLM 通过将各专家的适配器批量组织、与专家计算融合调度,减少额外开销,从而在不改变模型结构的前提下提升解码吞吐。

待验证50%
10月17日

62% 的解码吞吐提升高度依赖具体配置,专家数量、路由分布和并发度都会影响适配器的调度效率。

待验证50%

全部知识事实 (2)

来源文章