[控场AI]
产品KFServing

KServe

Kubernetes原生的机器学习模型部署框架,支持多框架模型服务化,是MLOps模型上线的核心工具之一

时间轴 (近 90 天)

10月12日

业界通常将 LLMD 与 NVIDIA 的 Dynamo、KServe 等项目放在同一赛道比较,关注点都是如何在多节点、多模型、多租户条件下把 GPU 利用率与端到端延迟同时做好。

待验证50%
9月11日

KServe原生功能主要覆盖推理服务的部署与流量管理,不包含模型质量层面的持续监控能力

待验证50%
8月5日

KServe是Kubernetes原生的模型推理平台,支持金丝雀发布、自动扩缩容到零和多框架模型服务

待验证60%

全部知识事实 (3)

来源文章