Product
vLLM
vLLM是一个开源的大型语言模型（LLM）推理与服务框架，专为高吞吐量、低延迟的模型部署而设计。其核心技术包括PagedAttention内存管理机制，能够高效管理注意力键值缓存，显著提升GPU利用率。vLLM支持连续批处理、张量并行等特性，兼容多种主流开源模型，广泛应用于生产环境中的LLM服务化部署。
Timeline (last 90 days)
Jun 3
围绕DeepSeek等模型已经形成了包括推理框架（vLLM、SGLang）、Agent框架（如MetaGPT、AutoGen的国产适配）在内的完整技术栈
Unverified75%
Jun 1
llama.cpp、Ollama、vLLM等推理框架可让用户在消费级硬件上运行量化后的开源模型
Unverified95%
Jun 1
常见的本地推理框架包括Ollama、llama.cpp、vLLM
Unverified60%
Jun 1
vLLM的吞吐量相比HuggingFace原生推理提升了2-24倍
Unverified80%
Jun 1
PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
Verified90%
Jun 1
Unsloth支持导出为GGUF（llama.cpp格式）、safetensors等多种格式，方便部署到Ollama、vLLM等推理框架
Unverified90%
Jun 1
vLLM在吞吐量上通常领先TGI，而TGI在易用性和生态兼容性上更优
Unverified75%
Jun 1
vLLM、TensorRT-LLM、llama.cpp是LLM推理加速领域的代表性开源框架
Partially Verified65%
Jun 1
PagedAttention技术将显存利用率提升了2-4倍
Unverified80%
Jun 1
在Ollama之前，用户通常需要使用llama.cpp、vLLM、text-generation-webui等工具来本地部署大模型
Unverified85%
29 more timeline events