#推理部署
共 3 篇相关文章

·5 分钟
SGLang Router v0.1.0 正式发布:统一发布流程与路由组件独立
SGLang Router 发布 v0.1.0,通过 CI 同时产出容器镜像与 PyPI wheel,标志路由组件走向独立发布。本文解读该版本对推理基础设施组件化部署的意义与适用场景。
阅读全文 →

·6 分钟
NVIDIA Dynamo on Kubernetes:5分钟搞懂AI推理部署
NVIDIA Dynamo如何在Kubernetes上部署AI推理?本文拆解Dynamo Operator模式、DGDR与DGD两条部署路径、OpenAI兼容请求链路及五步实战流程,帮助团队从单模型服务器平滑迁移到Kubernetes原生推理。
阅读全文 →

·5 分钟
小团队稳定推理负载:CoreWeave之外的GPU算力选择
CoreWeave 之外,小团队稳定推理负载有哪些 GPU 算力选择?本文梳理超大规模云、专用 GPU 云、算力市场与托管自有硬件四类方案的成本与适用场景,帮助小团队做出理性选型。
阅读全文 →