Ray Serve
Ray生态中的生产级模型服务组件，支持高并发推理请求，能将训练好的模型快速部署为在线服务，具备弹性伸缩能力
时间轴 (近 90 天)
Ray Serve 中 @serve.deployment(ray_actor_options={"num_gpus": 0.25}) 的 num_gpus 是向调度器声明的逻辑资源配额，一块 GPU 上最多可同时驻留4个 actor 副本。
num_gpus 只是逻辑声明，不会自动隔离显存；能否并存取决于统一内存容量与 llama.cpp 实际内存占用，设置过小并启动多个 7B 模型实例可能导致 OOM。
工程师需要根据具体业务场景在不同模型服务框架之间做出权衡
Ray Serve构建在分布式计算框架Ray之上，适合需要灵活编排多个模型和业务逻辑的复杂服务场景
Triton、vLLM、Ray Serve是当前MLOps领域主流的模型服务框架
BentoML 和 Ray Serve 更侧重灵活的 Python 生态集成的模型服务方案
Ray Serve 是面向生产的模型服务能力，把训练成果转化为推理服务
全部知识事实 (7)
Ray Serve 中 @serve.deployment(ray_actor_options={"num_gpus": 0.25}) 的 num_gpus 是向调度器声明的逻辑资源配额，一块 GPU 上最多可同时驻留4个 actor 副本。
50%待验证num_gpus 只是逻辑声明，不会自动隔离显存；能否并存取决于统一内存容量与 llama.cpp 实际内存占用，设置过小并启动多个 7B 模型实例可能导致 OOM。
50%待验证工程师需要根据具体业务场景在不同模型服务框架之间做出权衡
50%待验证Ray Serve构建在分布式计算框架Ray之上，适合需要灵活编排多个模型和业务逻辑的复杂服务场景
50%待验证Triton、vLLM、Ray Serve是当前MLOps领域主流的模型服务框架
50%待验证BentoML 和 Ray Serve 更侧重灵活的 Python 生态集成的模型服务方案
50%待验证Ray Serve 是面向生产的模型服务能力，把训练成果转化为推理服务
50%