Vela 3.0
Vela 3.0 是由 vLLM Semantic Router、KR Labs 与 AMD 合作发布的语义路由模型系列,其核心创新是将路由决策与片段提取合并为单次前向计算完成,提供从 0.3B 到 27B 六种参数规模的开放权重模型,适用于请求入口处的低延迟语义分发场景。
时间轴 (近 90 天)
Vela 3.0 由 vLLM Semantic Router、KR Labs 与 AMD 团队合作发布。
Vela 3.0 将路由决策与片段提取合并为单次调用完成。
Vela 3.0 提供六款开放模型,参数范围从 0.3B 到 27B。
单次调用完成路由与片段提取可以降低两次调用之间信息传递不一致的风险。
0.3B 级别的模型适合资源受限的边缘环境或高并发场景。
官方强调 Vela 3.0 路由器能检测的内容更灵活(more flexibility in what the router can detect),以及能运行的最小规模更小(how small it can run)。
若 Vela 3.0 针对 AMD 平台做过优化,则意味着该路由组件可以在非 NVIDIA 的 GPU 环境中获得可用的推理性能。
Vela 3.0 的官方披露信息集中在合并调用和模型谱系两个能力点上,具体性能数据和基准对比尚未展开。
全部知识事实 (8)
Vela 3.0 的官方披露信息集中在合并调用和模型谱系两个能力点上,具体性能数据和基准对比尚未展开。
50%待验证Vela 3.0 将路由决策与片段提取合并为单次调用完成。
50%待验证Vela 3.0 提供六款开放模型,参数范围从 0.3B 到 27B。
50%待验证单次调用完成路由与片段提取可以降低两次调用之间信息传递不一致的风险。
50%待验证0.3B 级别的模型适合资源受限的边缘环境或高并发场景。
50%待验证官方强调 Vela 3.0 路由器能检测的内容更灵活(more flexibility in what the router can detect),以及能运行的最小规模更小(how small it can run)。
50%待验证若 Vela 3.0 针对 AMD 平台做过优化,则意味着该路由组件可以在非 NVIDIA 的 GPU 环境中获得可用的推理性能。
50%待验证Vela 3.0 由 vLLM Semantic Router、KR Labs 与 AMD 团队合作发布。
50%