概念模型 Serving / Model Serving
Serving
将模型部署为在线服务并承接请求的整条链路，涵盖推理引擎、批处理与调度、KV cache、上下文管理、限流与弹性扩缩容
时间轴 (近 90 天)
10月24日
Serving 在此语境下指把模型部署为在线服务并承接请求的整条链路，包括推理引擎、批处理与调度、KV cache 与上下文管理、限流与弹性扩缩容。
待验证50%
将模型部署为在线服务并承接请求的整条链路，涵盖推理引擎、批处理与调度、KV cache、上下文管理、限流与弹性扩缩容
Serving 在此语境下指把模型部署为在线服务并承接请求的整条链路，包括推理引擎、批处理与调度、KV cache 与上下文管理、限流与弹性扩缩容。