产品Dynamo
NVIDIA Dynamo
NVIDIA推出的分布式推理框架，专为大语言模型在多GPU、多节点集群上的高效服务而设计，核心能力包括KV Cache跨节点调度与复用、请求动态路由及与Kubernetes等编排系统的集成
时间轴 (近 90 天)
9月22日
NVIDIA Dynamo 是 NVIDIA 推出的分布式推理框架，专为大语言模型在多 GPU、多节点集群上的高效服务而设计
待验证50%
9月22日
NVIDIA Dynamo 的核心能力包括 KV Cache 的跨节点调度与复用、请求的动态路由，以及与 Kubernetes 等编排系统的集成
待验证50%
9月22日
Topograph 可结合 NVIDIA Dynamo，使推理请求被路由到与已缓存 KV 数据物理距离最近的 GPU 节点，减少缓存迁移带来的通信开销
待验证50%
9月10日
NVIDIA Dynamo基于NATS和etcd实现分布式请求路由与服务发现,支持基于NIXL的高效GPU间数据传输,并与TensorRT-LLM和vLLM等推理后端兼容
待验证50%
全部知识事实 (4)
待验证
NVIDIA Dynamo 是 NVIDIA 推出的分布式推理框架，专为大语言模型在多 GPU、多节点集群上的高效服务而设计
50%待验证NVIDIA Dynamo 的核心能力包括 KV Cache 的跨节点调度与复用、请求的动态路由，以及与 Kubernetes 等编排系统的集成
50%待验证Topograph 可结合 NVIDIA Dynamo，使推理请求被路由到与已缓存 KV 数据物理距离最近的 GPU 节点，减少缓存迁移带来的通信开销
50%待验证NVIDIA Dynamo基于NATS和etcd实现分布式请求路由与服务发现,支持基于NIXL的高效GPU间数据传输,并与TensorRT-LLM和vLLM等推理后端兼容
50%