VelServe:用尾部校准调度驯服LLM解码抖动

VelServe用尾部校准调度抑制解码抖动,在守住SLO前提下大幅提升LLM服务吞吐。
文章介绍VelServe——一种面向交互式LLM服务的尾部校准调度器。论文指出解码阶段的抖动会延迟批次内所有请求,长响应跨越数百个解码步骤使罕见超时累积成大量SLO违规,而现有调度器只优化平均或预测延迟,忽视分布尾部。VelServe测量自身迭代延迟的尾部,动态决定每个解码步骤承载的预填充工作量并预留防超时余量;配合短提示优先策略与分离式架构下的准入间隔控制,在多种模型和工作负载上实现SLO有效吞吐较最强基线提升2.4倍以上,八GPU分离部署下满足SLO的请求数翻倍。
交互式LLM服务对首Token延迟(TTFT)和Token间延迟(TBT)有严格的SLO要求,但解码阶段的抖动——即使是罕见的超时——也会拖累大批请求。VelServe提出一种尾部校准调度器,通过动态调整每个解码步骤的预填充工作量,在保证延迟目标的同时大幅提升吞吐。

解码抖动:被忽视的SLO杀手
在流式输出和软实时应用中,Token能否可预测地送达,直接决定用户体验。论文指出,解码抖动同时存在于聚合式(aggregated)和分离式(disaggregated)服务架构中。一次抖动会延迟批次内的所有请求,而长响应往往跨越数百个解码步骤,因此即便超时事件本身很罕见,累积起来也会造成大量SLO违规。
这个观察揭示了现有调度策略的盲区:它们通常以平均延迟或预测延迟为优化目标,却忽略了延迟分布的尾部。
TTFT与TBT:首Token延迟(Time To First Token, TTFT)指从请求发出到收到第一个输出Token的时间,主要受预填充(prefill)阶段影响;Token间延迟(Time Between Tokens, TBT)指相邻输出Token之间的时间间隔,由解码(decode)阶段每个步骤的耗时决定。流式应用中,TTFT决定用户多快看到响应开头,TBT则决定文字“流淌”是否顺畅。二者通常各自设有SLO目标(如TTFT P99 < 1s、TBT P99 < 100ms),调度器需同时满足。
SLO与goodput:SLO(Service Level Objective)是服务等级目标,常以分位数形式表述,如“99%的请求TTFT不超过某阈值”。goodput(SLO有效吞吐)指单位时间内满足SLO的请求数量,区别于不考虑延迟约束的原始吞吐——它衡量的是“真正可用”的容量,是评估软实时LLM服务调度策略的核心指标。
聚合式服务的困境:预填充预算卡得太紧
在聚合式服务中,SLO感知调度器会为每个解码步骤设置预填充预算,直到预测延迟恰好满足TBT目标。这种做法看似精确,实则没有为预测误差或主机停顿留下任何余量。一旦预测失准,整个批次都会错过截止时间。
VelServe的解决思路是“校准”:它不再依赖单点预测,而是测量自身迭代延迟的尾部,据此决定每个解码步骤应承载多少预填充工作。SLO本身决定了“迟到步骤”可以有多罕见,调度器则据此在每次迭代中预留足够的余量(headroom),防止超时并满足目标解码延迟。
聚合式与分离式架构:聚合式(aggregated)服务中,预填充与解码由同一组GPU实例处理,新请求的预填充会与正在进行的解码批次争抢算力;分离式(disaggregated)架构则将预填充和解码拆分到不同实例池,预填充结果通过KV Cache传输给解码实例,可分别扩展但引入了传输开销与两阶段协调问题。两种架构下,预填充插入时机都会扰动解码步骤的节奏,因此抖动问题普遍存在。
预填充与解码的相互干扰:解码阶段每步需为批次内所有请求生成一个Token,耗时相对固定;若在某解码步骤中插入预填充工作,该步骤耗时会显著增加。聚合式调度器因此为每步设定预填充预算(即插入多少预填充Token),预算过大会导致该步TBT超时,过小则预填充推进缓慢、TTFT变差——这正是“卡得太紧”的根源。
短提示优先:把延迟留给最需要时间的请求
预留余量会拖慢预填充速度,VelServe的应对策略是优先服务最短的等待提示(shortest waiting prompt first)。论文给出了一个巧妙的论证:当TTFT截止时间随提示长度增长时,被推迟的长提示反而拥有最多可支配的时间。换言之,短提示先走,长提示等一等也不违例,整体SLO达成率因此提升。
在分离式架构下,VelServe则通过调整请求准入的间隔(spacing admissions),确保没有请求需要等待比其P99目标所允许的更多慢准入步骤。
最短等待提示优先(Shortest Waiting Prompt First):该策略借鉴了经典调度中的最短作业优先(SJF)思想,但目标不是最小化平均等待时间,而是提升SLO达成率。其关键在于TTFT截止时间通常随提示长度增长(长提示允许更长的首Token等待),因此优先处理短提示、推迟长提示,可以在不违反长提示截止时间的前提下减少整体违规。论文进一步将其与尾部校准结合:调度器只在预留余量允许时才插入预填充,并按提示长度排序选择插入对象,从而在守住TBT目标的同时改善TTFT分布。
实测表现:SLO有效吞吐显著提升
论文在三种注意力家族和多种工作负载上进行了评估。在Qwen3-8B和DeepSeek广告-V4-Flash上,VelServe的SLO有效吞吐(goodput)达到最强基线的2.4–2.9倍;在DeepSeek-V2-Lite上至少达到4.4倍。在八块GPU上分离预填充与解码时,VelServe满足SLO的请求数量是当前最优基线的两倍以上。
这些结果说明,尾部校准调度不是靠牺牲延迟换吞吐,而是在守住SLO的前提下释放了被抖动浪费的容量。对于追求可预测Token交付的在线LLM服务,这一思路值得关注。
要点回顾
- 解码抖动会延迟批次内所有请求,长响应下累积效应显著。
- VelServe用迭代延迟的实测尾部动态校准每步预填充预算。
- 短提示优先策略利用TTFT截止时间随长度增长的特性。
- 分离式部署下通过准入间隔控制P99等待步数。
- 多个模型家族上SLO goodput较基线提升2.4倍以上。
相关推荐

间谍蜜罐训练内幕:情感解离与锚定技术
间谍如何被训练执行蜜罐任务?一位受训者披露情感解离、香水与关键词锚定、目标照片绑定等心理学技术,解析条件反射如何被用于情报行动,并揭示这套机制在日常生活营销中的类似应用。

前沿AI风险管理:从训练到部署的全链路实践
OpenAI系统阐述前沿AI风险管理框架:从训练阶段的模型对齐,到部署阶段的沙箱隔离与阻断式防护,再到部署后的持续监控,构建贯穿模型全生命周期的分层风险控制体系。

Databricks推出Genie Migrate,简化Serverless迁移
Databricks 发布 Genie Migrate for Serverless,帮助用户将既有工作负载迁移到 Serverless 计算。本文解析该迁移工具的定位、对用户的实际意义以及尚未明确的细节。