概念continuous batching
连续批处理
LLM推理系统中的批处理优化技术，允许在处理过程中动态添加新请求到批次，避免等待整批完成后再处理新请求，显著提升推理服务吞吐量
核心事实
时间轴 (近 90 天)
9月12日
模型量化、推测解码、连续批处理是用于降低推理延迟的软件技术
待验证50%
8月28日
连续批处理允许在任意迭代步插入新请求、移除已完成请求，使GPU在每一步保持满负荷运转
已验证65%
7月2日
vLLM实现了持续批处理（Continuous Batching）机制，允许在批次中部分请求完成后立即插入新请求，无需等待整个批次完成
已验证65%