[控场AI]
概念智能体服务 / agentic serving

Agentic Serving

为 AI 智能体工作负载提供的推理服务模式,与单轮问答式推理不同,智能体在一次任务中可能发起数十次模型调用,形成 think-act-observe 循环,要求引擎支持前缀缓存共享、连续批处理和优先级抢占调度。

来源文章