vLLM Semantic Router
基于vLLM推理引擎的语义路由组件，在推理引擎前置轻量化路由层，根据请求的语义内容将其分发到最合适的下游模型或服务，以降低平均推理成本
时间轴 (近 90 天)
vLLM Semantic Router团队发布了决策模型家族Decision 3.0（简称d3），覆盖0.6B到27B多个参数规模，采用Apache-2.0开源协议，支持文本、图像和视频三种模态输入
vLLM Semantic Router 发布了 Decision 3.0，是一组采用 Apache-2.0 开源协议的多模态决策模型
vLLM Semantic Router 在 vLLM 推理引擎前置一个轻量化的路由层，用决策模型判断请求类型并导向专用模型
语义路由架构可以让高频简单请求走小模型、复杂请求调用大模型，形成成本与质量的动态平衡
该项目由 Xunzhuo Liu 及团队主导开发
在请求进入大模型前使用高效语义路由层做判断与分流，既能节省成本也能提升服务质量
vLLM Semantic Router 发布了 Decision 2.0 版本
全部知识事实 (7)
语义路由架构可以让高频简单请求走小模型、复杂请求调用大模型，形成成本与质量的动态平衡
50%待验证vLLM Semantic Router 在 vLLM 推理引擎前置一个轻量化的路由层，用决策模型判断请求类型并导向专用模型
50%待验证该项目由 Xunzhuo Liu 及团队主导开发
50%待验证在请求进入大模型前使用高效语义路由层做判断与分流，既能节省成本也能提升服务质量
50%待验证vLLM Semantic Router团队发布了决策模型家族Decision 3.0（简称d3），覆盖0.6B到27B多个参数规模，采用Apache-2.0开源协议，支持文本、图像和视频三种模态输入
50%待验证vLLM Semantic Router 发布了 Decision 3.0，是一组采用 Apache-2.0 开源协议的多模态决策模型
50%待验证vLLM Semantic Router 发布了 Decision 2.0 版本
50%