#vLLM
共 446 篇相关文章
·12 分钟
vLLM部署与Unsloth微调实战：大模型推理服务全流程指南
详解vLLM大模型推理部署与Unsloth高效微调全流程，涵盖命令行一键部署、Python代码调用、AutoDL云服务器环境搭建、ModelScope国内加速等实操细节，以DeepSeek-OCR视觉模型为例演示完整链路。
阅读全文 →
·17 分钟
Azure自托管大模型实战：vLLM+AKS+GPU部署完整指南
详解如何在Azure Kubernetes Service上使用vLLM自托管大语言模型，涵盖GPU调度、NVIDIA GPU Operator配置、部署排错及成本控制等生产化实践要点。
阅读全文 →
·8 分钟
vLLM架构深度解析：PagedAttention如何实现高吞吐LLM推理
深入剖析vLLM高吞吐推理引擎的核心架构，详解PagedAttention分页机制、KV Cache内存管理、连续批处理调度策略，解读vLLM如何将显存利用率提升至96%以上并实现数倍吞吐量提升。
阅读全文 →
·9 分钟
DeepSeek-OCR部署微调实战：vLLM推理到Unsloth微调全流程
详解DeepSeek-OCR从vLLM推理部署、Unsloth模型加载到微调训练的完整流程，涵盖云服务器环境配置、显卡选择、代码调用等关键步骤，一张4090显卡即可跑通全链路。
阅读全文 →
MemStitch零拷贝上下文桥接：vLLM推理TTFT提速25倍原理解析
·6 分钟
MemStitch零拷贝上下文桥接：vLLM推理TTFT提速25倍原理解析
深度解析MemStitch如何通过零拷贝上下文桥接技术为vLLM实现25倍TTFT加速。涵盖KV Cache优化、prefill阶段提速原理，以及对开发者的实际落地价值，助你降低大模型推理延迟。
阅读全文 →
·16 分钟
vLLM推理框架详解：吞吐优化核心原理与面试攻略
深入解析vLLM推理框架的核心原理：从吞吐（tokens/s）的本质含义，到自回归生成的性能瓶颈，再到KV Cache、PagedAttention、连续批处理三大优化技术，帮助算法工程师系统掌握大模型推理优化知识体系。
阅读全文 →
·6 分钟
DeepSeek投机解码算法正式合并vLLM主干，单用户速率提升显著
DeepSeek投机解码算法（DSpark）已正式合并至vLLM主干代码，原生支持Qwen3、Gemma等主流开源模型。测试显示单用户Token生成速率提升接近150倍，整体吞吐量提升约40%-50%，是开源大模型推理加速的重要里程碑。
阅读全文 →
·9 分钟
vLLM深度解析：PagedAttention如何实现高吞吐量LLM推理
深入解析vLLM高吞吐量LLM推理引擎的核心技术，包括PagedAttention内存管理、连续批处理机制、分布式部署方案，以及与TensorRT-LLM等方案的对比和适用场景建议。
阅读全文 →
教程攻略·5 分钟
vLLM与SGLang本地部署教程：性能提升3-8倍的实战指南
详解vLLM和SGLang本地部署全流程，对比LM Studio性能差距，通过Docker+AI助手三步完成部署。涵盖SGLang与vLLM选型建议、5090显存优化、Qwen3模型推荐及Cherry Studio接入方法。
阅读全文 →
·15 分钟
Qwen3 27B+DeepSeek Harness实测：本地开源智能体性能评测
详细实测Qwen3 27B模型搭配DeepSeek Harness智能体框架的部署方案、视觉理解能力、推理强度对比及token消耗数据，涵盖边界框绘制、车辆计数等多模态任务表现。
阅读全文 →
·11 分钟
本地大模型的隐藏福利：冬天不用开暖气
本地部署大模型的GPU显卡发热量堪比电暖器，本文深入解析本地LLM玩家选择自建算力的动机、多卡堆叠的功耗现实、散热挑战，以及这个独特社区文化背后的技术趋势。
阅读全文 →
·9 分钟
谷歌连发三款Gemini Flash模型：AI竞争进入成本时代
谷歌一口气发布Gemini 3.6 Flash、Flash Cyber、Flash Lite三款新模型，Token消耗降低17%，覆盖性能、安全、成本三条产品线。AI大模型竞争重心从「谁更聪明」转向「谁更便宜」，企业AI应用迎来成本红利期。
阅读全文 →
·15 分钟
4090跑Qwen3 27B实测：Q4量化+128K上下文显存计算与调优指南
详解单张RTX 4090部署Qwen3 27B Q4量化模型的完整方案，涵盖显存计算、K8V4非对称KV Cache量化、128K上下文配置、生成速度分析及AI编程工具实战调优经验。
阅读全文 →
·12 分钟
Qwen3 27B本地部署实测：单张3090跑出前沿级Agent能力
实测Qwen3 27B开源模型在单张RTX 3090上的表现，涵盖推理速度、Agent能力、多模态视觉及工具调用等维度，对比DeepSeek V-Flash等闭源模型，解析其性价比优势与本地部署方案。
阅读全文 →
·8 分钟
OpenRouter替代方案：LLM网关选型完整指南
深入对比OpenRouter替代方案，涵盖LiteLLM、Portkey、AWS Bedrock等主流LLM网关，从自托管开源到云厂商托管服务，帮助开发者根据数据隐私、成本控制和架构灵活性选出最佳方案。
阅读全文 →
·15 分钟
腾讯开源AI-Infra-Guard：全栈AI红队测试平台深度解析
深度解析腾讯开源的AI-Infra-Guard全栈AI红队测试平台，涵盖Agent扫描、MCP协议扫描、LLM越狱评估等五大核心能力，助力企业构建AI系统安全防线。
阅读全文 →
·14 分钟
零基础上手Claude Code：终端Agent实战入门指南
详解Claude Code终端Agent的核心优势与技术选型思路，对比终端Agent与设备Agent的区别，帮助零基础用户理解如何用Claude Code搭配DeepSeek模型，在可控范围内高效完成AI编程实战。
阅读全文 →
·16 分钟
GPT-5.6 Ultra Fast模式解析：推理提速14倍背后的技术与落地
GPT-5.6推出Ultra Fast模式，借助Cerebras专用硬件实现推理速度最高提升14倍，每秒输出750个Token。本文深度解析提速原理、Cerebras晶圆级芯片优势、当前可用性限制及对开发者的实际影响。
阅读全文 →
