待验证50% 置信事实精确时间
vLLM、TensorRT-LLM等先进推理框架引入了连续批处理（Continuous Batching）和分离式预填充（Disaggregated Prefill）等技术来缓解预填充-解码干扰
1
来源数
50%
置信度
长期有效
时效性
2026/9/18
首次发现
来源
涉及实体
相关事实
已验证连续批处理（Continuous Batching）允许新请求在飞行中插入已有批次，由vLLM、TensorRT-LLM等推理引擎实现80% 相似待验证vLLM 和 SGLang 属于服务型推理框架，支持连续批处理（Continuous Batching）、PagedAttention 等技术以最大化并发吞吐量77% 相似已验证vLLM实现了持续批处理（Continuous Batching）机制，允许在批次中部分请求完成后立即插入新请求，无需等待整个批次完成77% 相似待验证vLLM等主流推理框架已经原生支持自动前缀缓存功能75% 相似待验证vLLM实现了自动前缀缓存（Automatic Prefix Caching），SGLang支持基于RadixAttention的细粒度缓存复用71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/933100API
curl https://kongchang.com/api/v1/knowledge/claims/933100MCP
get_claim(id=933100)