[控场AI]
· 5 分钟阅读· 2,948 字

LLM Agent批量任务提速65%:推理与环境协同优化

LLM Agent批量任务提速65%:推理与环境协同优化

蚂蚁 Ling 团队提出推理-环境协同优化,将 Agent 批量任务 makespan 缩减 10.4%–65.0%。

针对 LLM Agent 批量任务中「推理—行动—观察」循环导致的效率瓶颈,蚂蚁集团 Ling 团队提出一套推理-环境协同优化方案,以 batch makespan(整批任务完成时间)为核心优化目标。方法涵盖三方面:用工作负载资源模型指导混合架构 LLM 的 KV cache 与循环状态显存分配以减少重计算;利用轨迹结构做感知路由与调度,兼顾前缀缓存复用与 worker 负载均衡;在环境容量受限时引入 CAAS 调度,优先推进长链以压缩批次尾部。在 BFCL、SWE-bench Multilingual、WideSearch、MCP-Atlas 四个基准上,makespan 缩减 10.4% 至 65.0%,评测分数保持对齐,并已应用于 Ling-3.x 系列模型的训练与评测流程。

LLM Agent 的批量任务执行效率,正在成为制约模型训练与开发流程的关键瓶颈。无论是基准评测、合成数据生成,还是强化学习中的 rollout,这些任务都呈现出相同的特点:在 LLM 推理与环境交互之间反复切换。蚂蚁集团 Ling 团队的一项新研究提出了一套推理-环境协同优化方案,在多个基准上实现了 10.4% 到 65.0% 的批量完成时间(makespan)缩减,且评测分数保持对齐。

LLM Agent 批量任务推理-环境协同优化

为什么批量 makespan 是 Agent 工作流的核心指标

Agent 任务的执行不是连续的 token 生成,而是「推理—行动—观察」的循环。一个样本可能先调用模型规划下一步,再在环境中执行动作,拿到反馈后再次推理。当一批这样的任务并行推进时,总完成时间并不取决于平均耗时,而是被最慢的那条链拖住。

研究团队将优化目标明确为 batch makespan——完成一批中所有任务所需的总时间。这个指标比吞吐量更贴近实际开发体验:评测要等整批跑完才能出分,合成数据要等整批结束才能进入下一轮,RL rollout 更是直接受制于最慢轨迹。缩短尾部,就是缩短整个开发周期。

Makespan 是调度理论中的经典指标,指从任务集开始执行到全部任务完成所经历的总时间,由最晚完成的那条任务链决定,而非各任务耗时的平均值或总和。与之相对的吞吐量(throughput)衡量单位时间内完成的任务数量。在稳态、任务持续到达的场景下,高吞吐往往意味着低 makespan;但在有限批次、任务耗时差异大的场景中,二者会显著背离——系统可以维持很高的平均吞吐,却因个别长尾任务迟迟不结束而拖长整批的等待时间。Agent 任务恰恰属于后者:单条轨迹长度差异大、存在不可预测的环境等待,因此 makespan 更能反映开发者「等整批出结果」的真实体验。

混合模型的显存分配:KV Cache 与循环状态的权衡

对于混合架构 LLM(同时包含注意力层与循环层),显存要在 KV cache 和 recurrent state 之间分配。分配不当会带来两种代价:KV cache 太小导致并发受限,循环状态不足则触发重计算。

论文提出用基于工作负载的资源模型来指导这一分配,并给出一个参考样本并发度——既能利用并行性,又把重计算控制在可接受范围内。这里的思路不是追求单点最优,而是让显存预算与实际的样本并发需求匹配,避免因资源错配造成的隐性等待。

KV cache 是自注意力层在自回归解码时缓存历史 token 的键值向量,避免每步重复计算,其显存占用随并发序列数和上下文长度线性增长。循环状态(recurrent state) 则指混合架构中循环层(如线性注意力、状态空间模型或 Mamba 类结构)为每条序列维护的固定大小隐状态,它不随上下文长度增长,但每个并发样本都需独立持有一份。两类缓存的增长方式不同:KV cache 吃上下文长度,循环状态吃并发数。若 KV cache 分配不足,只能降低并发或频繁换出;若循环状态空间不足,长序列在恢复时需从头重算,即重计算(recomputation)。理解这一此消彼长的关系,是读懂论文资源模型的前提。

轨迹感知的路由与调度

Agent 任务天然带有轨迹结构:相似的初始任务往往走相似的环境路径。研究团队利用这一点做轨迹感知的路由与调度,一方面促进缓存复用,让相同或相近的推理前缀命中已有缓存;另一方面平衡各 worker 的负载,防止个别 worker 成为长尾。

缓存复用与负载均衡在传统调度中常常冲突——把相似任务放到同一 worker 有利于缓存,却可能造成热点。轨迹感知的做法是用轨迹信息同时约束这两个目标,在复用率和均衡度之间取得折中。

前缀缓存(prefix caching) 是现代推理引擎的常用优化:若多条请求共享相同的开头 token 序列,系统可直接复用已算好的 KV cache,跳过重复的 prefill 计算。Agent 批量任务中,同一初始任务派生的轨迹往往共享系统提示、工具定义和早期推理前缀,因此缓存命中率可观。但缓存是 worker 本地或局部的,把相似任务路由到同一 worker 能提高命中,却也容易让该 worker 负载过高形成热点。轨迹感知路由的本质是在「亲和性」与「均衡性」两个目标间做联合优化,通常借助轨迹指纹或相似度度量来分组,再结合队列长度等实时负载信号动态调整。

环境容量受限时的 CAAS 调度

当环境侧容量有限时,瓶颈从推理转移到了环境执行。研究团队将样本准入与环境执行解耦,并提出 Chain-Advancing Action Scheduling(CAAS)。CAAS 的核心是优先推进长链——利用已观察到的进度判断哪些轨迹最可能成为批次尾部,把资源向它们倾斜,从而缩短整体 makespan。

这是一个反直觉但合理的策略:常规调度倾向于先处理短任务以快速清空队列,而 makespan 由最慢者决定,优先照顾长链才能真正压缩尾部。

样本准入(admission control) 指决定哪些样本可以进入执行阶段的策略,与环境的实际执行容量解耦后,系统可以先接纳样本排队、再按容量放行,避免环境过载导致的整体抖动。CAAS 中的 Chain-Advancing 强调依据轨迹已推进的步数或阶段来估计其剩余长度,把有限的环境槽位优先给最可能成为批次尾部的长链。这与经典的 最短作业优先(SJF) 策略形成对照:SJF 能最小化平均完成时间,却可能让长任务无限推迟;而面向 makespan 的调度需要主动照顾长任务。二者适用目标不同,论文的选择正源于其优化目标是批次总完成时间而非平均等待。

实验验证:多基准一致的 makespan 下降

研究在 BFCL、SWE-bench Multilingual、WideSearch 和 MCP-Atlas 四个基准上,用 Ling-3.0-Flash 与 Ling-3.1-Flash 进行了在线评测,makespan 缩减幅度为 10.4% 至 65.0%,同时评测分数保持对齐——这意味着提速没有以牺牲任务质量为代价。

论文还引入了 Controlled replay 机制,将真实推理与录制好的环境响应及耗时结合,用于对单项优化做消融分析。这种方法在环境交互难以稳定复现的场景下尤其实用。这些方法已被应用于 Ling-3.x 系列模型的训练与评测流程,实际加速了模型开发周期。

对 Agent 工程实践的启示

这项工作传递出一个清晰信号:Agent 工作流的性能优化不能只盯着推理引擎。推理侧与环境侧的协同——显存分配、缓存路由、准入调度——才是压缩 batch makespan 的主要空间。对于正在搭建评测流水线或 RL 训练框架的团队,尾部调度和缓存复用是值得优先投入的方向。

#LLM Agent#batch makespan#推理环境协同#KV cache#CAAS 调度#Agent 工作流优化#Ling-3.x
分享:

相关推荐