llm-d

Kubernetes 原生的开源分布式 LLM 推理栈，支持跨 vLLM、SGLang 及 TPU/GPU 异构硬件运行，核心能力包括缓存感知路由、Agent 感知路由与多租户流控