LLMD
面向 Kubernetes 的分布式 LLM 推理编排框架，由 IBM Research 与 Red Hat 等联合发起，将 vLLM 等推理引擎作为后端，通过调度、路由和缓存层组织多机 GPU 资源，支持多租户 QoS 与零停机运维的生产级开源推理方案。
时间轴 (近 90 天)
LLMD 全称为 Large Language Model Deployment（大语言模型部署），是由 IBM Research 与 Red Hat 等团队联合发起的开源项目，是一套面向 Kubernetes 的分布式推理编排框架，而非推理引擎本身。
LLMD 项目成立仅一年多，目前已能为智能体服务提供最先进的性能，同时支持多租户服务质量（QoS）、零停机运维等生产能力。
Carlos Costa 是 IBM Research 杰出工程师、LLMD 项目联合创始人。
在 PyTorch Conference North America 主题演讲中，IBM 将携手 Red Hat 和 Google 共同展示下一代 LLMD 能力。
业界通常将 LLMD 与 NVIDIA 的 Dynamo、KServe 等项目放在同一赛道比较，关注点都是如何在多节点、多模型、多租户条件下把 GPU 利用率与端到端延迟同时做好。
LLMD 在希腊的开源 AI 社区中已经帮助许多采用者更好地利用了他们的 AI 基础设施。
全部知识事实 (6)
LLMD 全称为 Large Language Model Deployment（大语言模型部署），是由 IBM Research 与 Red Hat 等团队联合发起的开源项目，是一套面向 Kubernetes 的分布式推理编排框架，而非推理引擎本身。
50%待验证LLMD 项目成立仅一年多，目前已能为智能体服务提供最先进的性能，同时支持多租户服务质量（QoS）、零停机运维等生产能力。
50%待验证Carlos Costa 是 IBM Research 杰出工程师、LLMD 项目联合创始人。
50%待验证业界通常将 LLMD 与 NVIDIA 的 Dynamo、KServe 等项目放在同一赛道比较，关注点都是如何在多节点、多模型、多租户条件下把 GPU 利用率与端到端延迟同时做好。
50%待验证LLMD 在希腊的开源 AI 社区中已经帮助许多采用者更好地利用了他们的 AI 基础设施。
50%待验证在 PyTorch Conference North America 主题演讲中，IBM 将携手 Red Hat 和 Google 共同展示下一代 LLMD 能力。
50%