Decision 3.0发布：vLLM语义路由的开源决策模型解析

Decision 3.0 是什么？

vLLM Semantic Router 近期发布了 Decision 3.0，这是一组采用 Apache-2.0 开源协议的多模态决策模型。该系列共包含 5 个模型，参数规模从 0.8B 到 27B 不等，覆盖了从轻量化部署到高精度推理的多种场景需求。

与传统的大语言模型不同，Decision 3.0 的核心定位并非生成文本，而是专注于做出"决策"。它能够在一次调用中对文本和图像同时进行处理，回答三类结构化问题：选择题（choice）、是非题（yes/no）以及打分题（score）。这种设计让模型的输出更加确定、可控，也更适合嵌入到自动化流程中。

不生成文本的决策模型意味着什么

Decision 3.0 最值得关注的特性，是它"不生成文本"（without generating text）。常规的大语言模型在回答问题时需要逐 token 生成完整的自然语言输出，这不仅耗费算力，还可能带来格式不稳定、幻觉等问题。

而决策模型将任务重新定义为分类或评分问题。当你需要知道"这张图片是否包含违规内容"（yes/no）、"这段文本属于哪个类别"（choice），或者"这个回答的质量评分是多少"（score）时，模型可以直接给出结构化结果，而无需绕道生成一段描述性文字。

这种范式对于路由（routing）、内容审核、质量评估等场景尤为契合。vLLM Semantic Router 本身就是一个用于语义路由的组件，决策模型可以作为其核心引擎，快速判断请求应该被导向哪个下游模型或服务。

从技术实现角度看，这类模型通常在推理阶段跳过自回归解码（autoregressive decoding）过程，转而在最后一层隐状态上直接接一个分类头（classification head）或回归头（regression head）输出结果。这与 BERT 系列模型的分类微调思路类似，但 Decision 3.0 在视觉-语言预训练模型的基础上进一步针对决策任务做了对齐训练，使其能够同时理解图像与文本语义再输出判断。这种架构的直接收益是延迟极低——由于省去了逐 token 生成的循环，单次推理的时间复杂度从 O(n) 降为近似常数级，在高并发路由场景中吞吐量优势明显。

多模态与多尺寸的工程考量

Decision 3.0 的一大亮点在于支持多模态输入，即可以在单次调用中同时处理文本和图像。对于需要跨模态判断的应用——例如图文一致性校验、带配图的内容分级——这意味着无需拼接多个单模态模型，可以显著简化推理管线。

从 0.8B 到 27B 的梯度化模型尺寸设计，也体现了明确的工程思路。小尺寸模型（如 0.8B）适合在边缘设备或对延迟极度敏感的实时路由场景中部署，而大尺寸模型（27B）则可以在需要更高判断精度的任务中发挥作用。开发者可以根据自身的精度与成本平衡，灵活选择合适的版本。

语义路由（Semantic Routing）是指根据请求的语义内容将其分发到最合适的下游处理节点的机制，类似于网络层的负载均衡，但判断依据是自然语言或多模态内容的含义而非固定规则。vLLM Semantic Router 正是这一模式的具体实现：它在 vLLM 推理引擎前置一个轻量化的路由层，用决策模型快速判断请求类型，再将其导向针对该类型优化过的专用模型。这种架构可以在不牺牲整体精度的前提下显著降低平均推理成本——高频简单请求走小模型，复杂请求才调用大模型，形成成本与质量的动态平衡。

开源协议带来的意义

整个 Decision 3.0 系列采用 Apache-2.0 协议开源，这意味着企业和开发者可以较为自由地在商业产品中集成、修改和分发这些模型，而不必担心严格的授权限制。对于希望自建语义路由或决策管线、但又不愿依赖闭源 API 的团队来说，这降低了技术门槛和合规风险。

结合 vLLM 这一高性能推理框架的生态，Decision 3.0 的推出进一步丰富了开源 AI 工具链。它所代表的"决策模型"思路，或许会推动更多团队重新思考：并非所有任务都需要一个会"说话"的大模型，有时候一个高效、确定的"判断器"反而更合适。

小结

Decision 3.0 以开源、多模态、多尺寸和非生成式决策为核心卖点，为语义路由与结构化判断任务提供了一套新的工具。尽管目前公开的技术细节仍较为有限，但其产品定位清晰，有望在内容审核、智能路由和质量评估等场景中找到实际应用空间。感兴趣的开发者可以关注其在 vLLM 生态中的后续集成进展。