产品KFServing
KServe
Kubernetes原生的机器学习模型部署框架,支持多框架模型服务化,是MLOps模型上线的核心工具之一
时间轴 (近 90 天)
10月12日
业界通常将 LLMD 与 NVIDIA 的 Dynamo、KServe 等项目放在同一赛道比较,关注点都是如何在多节点、多模型、多租户条件下把 GPU 利用率与端到端延迟同时做好。
待验证50%
9月11日
KServe原生功能主要覆盖推理服务的部署与流量管理,不包含模型质量层面的持续监控能力
待验证50%
8月5日
KServe是Kubernetes原生的模型推理平台,支持金丝雀发布、自动扩缩容到零和多框架模型服务
待验证60%