待验证60% 置信事实精确时间

连续批处理允许在每个解码步骤对批次动态调整，某请求完成后立即插入新等待请求，Orca（2022年提出的调度系统）最早实现了这一思想

2

来源数

60%

置信度

长期有效

时效性

2026/8/13

首次发现

来源

Azure自托管大模型实战：vLLM+AKS+GPU部署完整指南

相关事实

待验证连续批处理的核心思想是在每个迭代步骤中动态地将已完成的请求替换为新请求，以提升硬件利用率74% 相似待验证混合模式会从下一个自动批次中附带一部分样本，让请求在抵达时带有近期的执行上下文71% 相似待验证传统静态批处理需要等待一批请求全部完成才能接入新请求71% 相似已验证连续批处理（Continuous Batching）采用迭代级别的调度粒度，每完成一个 token 生成便可移出已完成请求并插入新请求70% 相似待验证动态批处理策略会在短时间窗口内收集请求，达到批次大小上限或超时阈值后立即执行推理69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/740519

API

curl https://kongchang.com/api/v1/knowledge/claims/740519

MCP

get_claim(id=740519)