vLLM Semantic Router 发布 Decision 2.0：单次推理回答64个请求问题

vLLM Semantic Router 的 Decision 2.0 带来了什么

vLLM 生态再添新进展——Semantic Router 的 Decision 2.0 正式发布。这一版本围绕请求路由的语义理解能力做了显著升级，核心亮点在于用一次前向推理（one forward pass）即可对单个请求回答多达 64 个判别性问题，从而为下游的路由决策提供密集的语义信号。

对于构建大规模 LLM 服务的团队来说，请求路由并非小事。不同的请求在复杂度、意图、敏感度和资源消耗上差异巨大，若能在进入主模型之前就对请求做出精细的语义判断，就能更合理地分配算力、选择合适的模型路径，并在成本与质量之间取得平衡。Decision 2.0 正是瞄准这一环节。

覆盖 0.6B 到 27B 的开放模型矩阵

此次发布最值得关注的一点，是它提供了从 0.6B 到 27B 参数规模的完整开放模型系列。这种跨度意味着使用者可以根据自身的延迟要求、硬件条件和精度预期，在轻量模型与大模型之间灵活取舍。

小到 0.6B 的模型适合在边缘或高并发场景下做快速的请求分类，几乎不构成额外的推理负担；而 27B 规模的模型则能在需要更高判别准确度的场景中发挥作用。这种分层设计让 Semantic Router 不再是"一刀切"的方案，而能适配从初创到大规模生产环境的不同需求。

单次前向推理回答 64 个问题的意义

传统做法中，若要对一个请求判断多个维度（例如是否涉及代码、是否需要联网、是否敏感、复杂度高低等），往往要么调用多次模型，要么维护多个分类器。Decision 2.0 将这些判别压缩进一次前向推理，一次性输出对 64 个问题的回答。

这种设计带来的直接收益是显而易见的：推理成本大幅降低、延迟更可控，同时保证了多维度判断之间的一致性。对需要低延迟路由决策的在线服务而言，减少一次模型往返就意味着整体响应链条更短、吞吐更高。

从技术实现角度来看，"单次前向推理回答多个问题"的本质是**多标签分类（Multi-label Classification）**的变体。模型在最后一层同时输出 64 个二元或多元判别头（classification head），共享底层的 Transformer 表示，而不是为每个问题独立运行一次完整的推理流程。这种共享表示的方式之所以有效，是因为不同维度的判断（如"是否涉及代码"与"复杂度高低"）往往依赖相似的语义特征，复用中间层的计算结果既节省了 FLOPs，也让各维度判断之间隐含了语义上的关联约束，避免了多个独立分类器之间可能出现的逻辑矛盾。相比之下，传统的"串行调用多个分类器"方案不仅延迟是线性叠加的，还面临各分类器训练数据分布不一致的问题。

Apache-2.0 许可与 Transformers 原生加载

在工程落地层面，Decision 2.0 采用 Apache-2.0 许可证，这对商业使用非常友好，企业可以放心地将其集成到自有产品中而无需担心授权限制。

同时，模型可以直接通过 Hugging Face 的 Transformers 库加载，这降低了接入门槛——开发者无需学习额外的专有框架，就能把它纳入既有的推理管线。配合 vLLM 本身在高吞吐推理上的优势，Semantic Router 与主推理引擎之间的协同也更加顺畅。

对 LLM 服务架构的启发

从更宏观的视角看，Decision 2.0 反映出一个趋势：LLM 服务正在从"单一大模型兜底一切"走向"分层、路由式"的架构。在请求进入昂贵的大模型之前，先用一个高效的语义路由层做判断与分流，既能节省成本，也能提升整体服务质量。

这类语义路由方案的价值，随着 LLM 应用规模化而愈发凸显。该项目由 Xunzhuo Liu 及团队主导开发，开放的模型权重和宽松的许可证，也为社区进一步研究和改进路由策略提供了基础。

对正在搭建生产级 LLM 系统的团队来说，不妨关注这一方向——一个设计良好的语义路由层，可能比单纯堆砌更大的模型更具性价比。

这种"预处理路由层 + 主推理引擎"的分层架构，在工程上通常被称为 Router-as-a-Service 或 LLM Gateway 模式。其核心思路是在请求到达主模型之前，先由一个轻量高效的路由模型进行语义分析，据此将请求调度到不同的后端——例如，简单问题走小模型降低成本，涉及敏感内容的请求触发安全过滤，需要实时信息的请求优先接入具备联网能力的路径。这一模式与微服务架构中的 API Gateway 理念相通，区别在于路由依据从 URL 规则变成了语义向量与分类结果。随着企业侧 LLM 部署规模扩大，路由层的设计质量直接影响整体系统的成本效率比，也是当前 LLMOps 领域的重要研究方向之一。