GPUStack
开源的GPU集群管理与推理平台，通过将推理后端容器化、配置可视化，支持SGLang等推理后端，提供Web界面操作，可在模型发布当天完成生产级部署
时间轴 (近 90 天)
GPUStack v2.3.0rc2 预览了通过 Jev 决策服务为请求选择合适生成模型的高级路由能力
能力描述里的键名必须与真实候选模型名一致，不能使用路由别名或 provider 名，否则无法映射到候选
决策贡献权重是对分数的相对影响，而非流量百分比
Higress 是阿里云开源的云原生 API 网关，基于 Envoy 构建，GPUStack 将其作为处理 AI 推理流量的网关层
实际的请求转发、插件执行（包括调用 Jev 决策服务）和负载均衡都发生在 Higress 侧，GPUStack 负责管理模型部署与路由策略配置并同步给 Higress
验证路由选择的唯一可靠手段是通过日志追踪，HTTP 响应本身不携带由哪个上游模型生成的信息
测试中九个不同难度的输入全部通过 demo-smart 路由，实际选中的模型与预期全部吻合
翻译、区间合并、系统设计三个任务以非流式方式各重复三次模型选择保持稳定，流式版本也选中相同模型
全部知识事实 (8)
翻译、区间合并、系统设计三个任务以非流式方式各重复三次模型选择保持稳定，流式版本也选中相同模型
50%待验证能力描述里的键名必须与真实候选模型名一致，不能使用路由别名或 provider 名，否则无法映射到候选
50%待验证决策贡献权重是对分数的相对影响，而非流量百分比
50%待验证Higress 是阿里云开源的云原生 API 网关，基于 Envoy 构建，GPUStack 将其作为处理 AI 推理流量的网关层
50%待验证实际的请求转发、插件执行（包括调用 Jev 决策服务）和负载均衡都发生在 Higress 侧，GPUStack 负责管理模型部署与路由策略配置并同步给 Higress
50%待验证验证路由选择的唯一可靠手段是通过日志追踪，HTTP 响应本身不携带由哪个上游模型生成的信息
50%待验证测试中九个不同难度的输入全部通过 demo-smart 路由，实际选中的模型与预期全部吻合
50%待验证GPUStack v2.3.0rc2 预览了通过 Jev 决策服务为请求选择合适生成模型的高级路由能力
50%