产品
Dynamo
NVIDIA 推出的分布式推理服务框架，面向多节点、多模型、多租户场景优化 GPU 利用率与端到端延迟。
时间轴 (近 90 天)
9月21日
Dynamo是NVIDIA在Triton之上为大规模分布式推理场景引入的调度与编排层，解决多模型、多节点场景下的请求路由与资源调度问题
待验证50%
9月15日
Google 的 Bigtable 和 Amazon 的 Dynamo 是展示如何在工程约束下对理论进行取舍的系统论文
待验证50%
9月15日
Dynamo 论文提出的最终一致性思想直接催生了 Cassandra、Riak 等 NoSQL 数据库
待验证50%
全部知识事实 (8)
待验证
Dynamo提供分布式KV Cache管理、请求级别的动态路由、GPU资源的细粒度调度等能力
85%待验证Dynamo与NVIDIA的TensorRT-LLM推理后端深度集成，同时也支持vLLM等其他推理引擎作为后端
85%待验证Dynamo对MoE模型的推理优化包括专家级别的负载均衡和跨GPU的专家并行调度
80%待验证Dynamo是NVIDIA于2025年初开源的分布式推理框架，专为大规模LLM服务设计
70%待验证Dynamo是NVIDIA在Triton之上为大规模分布式推理场景引入的调度与编排层，解决多模型、多节点场景下的请求路由与资源调度问题
50%待验证Google 的 Bigtable 和 Amazon 的 Dynamo 是展示如何在工程约束下对理论进行取舍的系统论文
50%待验证Dynamo 论文提出的最终一致性思想直接催生了 Cassandra、Riak 等 NoSQL 数据库
50%待验证流式推理与工具执行的流水线并行机制在多工具调用场景下可以将端到端延迟降低30%-50%
50%