[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
智能体推理 / Agentic推理
Agentic Inference
指在Agent系统中支撑多轮对话、工具调用、并发子任务拆解和中间状态缓存等复杂工作流的推理模式,与传统单次无状态推理相比对推理框架提出更高要求
来源文章
vLLM 亮相 PyTorchCon:开源推理基础设施的集体发声
10月4日