[控场AI]
产品Ray框架

Ray

用于解决将ML工作负载大规模部署在Kubernetes集群上复杂性的分布式计算框架,常用于MLOps和ML平台工程

时间轴 (近 90 天)

9月10日

vLLM在单机场景下使用ZeroMQ(zmq)作为RPC框架,在分布式场景下借助Ray框架来管理多节点的Worker

待验证50%
9月1日

伯克利主导的开源项目包括Caffe深度学习框架、Ray分布式计算框架以及大语言模型项目Vicuna和LMSYS Chatbot Arena

待验证50%

全部知识事实 (2)

来源文章