vLLM
vLLM是一个开源的大型语言模型（LLM）推理与服务框架，专为高吞吐量、低延迟的模型部署而设计。其核心技术包括PagedAttention内存管理机制，能够高效管理注意力键值缓存，显著提升GPU利用率。vLLM支持连续批处理、张量并行等特性，兼容多种主流开源模型，广泛应用于生产环境中的LLM服务化部署。
核心事实
时间轴 (近 90 天)
vLLM和SGLang是主流开源LLM推理引擎，均支持通过张量并行和流水线并行将模型切分到多个GPU或节点上运行
SGLang 和 vLLM 是当前 LLM 推理领域事实上的两大主流开源引擎
Torch-TPU 方案保持服务引擎在上游，使 SGLang 与 vLLM 社区新增的模型支持和功能特性可直接在 TPU 上运行而无需单独为 TPU 编写实现
vLLM、llama.cpp 等框架对 MoE 的支持往往落后于密集模型数月
RL-Kernel团队在8块AMD MI300X上运行了200步的Qwen3-8B GRPO训练任务，结果显示Megatron训练端与vLLM rollout端之间零logprob不匹配
RL训练中训练端常用Megatron框架，推理端常依赖vLLM这类高吞吐引擎，两套系统在计算顺序、数值精度、舍入处理上的差异累积会影响RL稳定性
RL-Kernel团队将RL-Align/RL-Kernel与vLLM的相关组件集成，在AMD ROCm平台上实现了训练与推理logprob的逐位（bit for bit）匹配
训练框架为吞吐量可能采用跨张量并行分片的归约策略，而推理框架在KV-cache优化模式下使用另一套kernel，即便输入相同，输出的最后几个ULP也可能不同
在 8 块 AMD Instinct MI355X 加速卡上，借助 vLLM 推理框架，GLM-5.3 模型实现了 469 tok/s 的单用户解码速度
TileRT 与 vLLM 之间通过 vLLM V1 的 connector 接口打通
还有 40 条时间轴事件
全部知识事实 (20)
vLLM是构建在PyTorch之上的大语言模型推理引擎开源项目
90%已验证连续批处理允许在任意迭代步插入新请求、移除已完成请求，使GPU在每一步保持满负荷运转
90%已验证生产环境中插件更新前应在测试环境验证，谨慎管理插件版本
90%已验证vLLM 是一个专为生产环境设计的高性能大语言模型推理与部署框架，针对高并发、高吞吐需求进行优化
90%已验证PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
90%已验证vLLM通过PagedAttention技术实现了高效的KV Cache管理，将GPU显存利用率提升数倍
90%已验证vLLM是由UC Berkeley开发的高吞吐量大模型推理引擎，核心创新是PagedAttention技术
90%已验证PagedAttention将KV缓存分成固定大小的页按需分配，显存利用率可提升2-4倍
85%已验证vLLM提出的PagedAttention机制使其吞吐量相比HuggingFace Transformers提升2-24倍
80%已验证Cube Studio支持vLLM、Ollama、MindIE等主流大模型推理引擎，并支持多机推理
80%已验证vLLM 和 TensorRT-LLM 等现代推理框架通过连续批处理（Continuous Batching）和 PagedAttention 等技术提升 GPU 利用率
80%已验证PagedAttention技术借鉴操作系统虚拟内存的分页思想，将KV Cache切分为固定大小的物理块动态分配
80%已验证vLLM 使用 PagedAttention 进行 KV Cache 管理
80%已验证Ollama提供类似Docker的一键式模型管理体验，vLLM通过PagedAttention实现高吞吐量批量推理，LM Studio面向桌面用户提供图形化界面
80%已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高
80%已验证分页注意力（PagedAttention）是vLLM的核心技术，将KV缓存分块管理，Flash Attention优化注意力计算的内存访问模式
80%已验证vLLM采用连续批处理（Continuous Batching），将调度粒度细化到每个生成步骤，即完即补
80%已验证vLLM的PagedAttention借鉴操作系统虚拟内存分页思想管理KV缓存，将显存碎片化损耗从约30%降低至接近0
80%已验证vLLM、TensorRT-LLM、llama.cpp是LLM推理加速领域的代表性开源框架
80%已验证Day-0 支持意味着开发者无需等待适配周期即可在模型发布当天用主流推理引擎部署运行
75%