[控场AI]

#推理引擎

共 19 篇相关文章

LLM推理引擎怎么选?七大主流方案全解析
·6 分钟

LLM推理引擎怎么选?七大主流方案全解析

七个主流LLM推理引擎怎么选?本文整理Llama CPP、MLXLM、XLama V3、Hugging Face Transformers、VLLM、SGLang、LMDeploy和TensorRT-LLM的优化方向与适用场景,帮你按CPU、GPU并发、显存受限和NVIDIA数据中心快速定位合适方案。

阅读全文 →
本地跑大模型工具怎么选?五大主流方案一次讲清
·6 分钟

本地跑大模型工具怎么选?五大主流方案一次讲清

一文讲清llama.cpp、Ollama、LM Studio、vLLM、MLX LM五大本地大模型运行工具的定位与差异:从GGUF格式、OpenAI兼容API到分页注意力与苹果统一内存,给出开发原型、普通用户和生产部署的选型建议。

阅读全文 →
Flide引擎:精确状态分叉,决策推理提速9.5倍
·4 分钟

Flide引擎:精确状态分叉,决策推理提速9.5倍

Flide是一种高效精确的推理引擎,通过ForkAttention在GPU索引中实现决策请求的精确状态分叉,在保持输出概率精确性的同时,相比vLLM和SGLang最高提速9.5倍,为LLM智能体决策推理提供新基础。

阅读全文 →
vLLM v0.33.0 版本发布:一次值得关注的推理引擎更新
·4 分钟

vLLM v0.33.0 版本发布:一次值得关注的推理引擎更新

vLLM 发布 v0.33.0 版本,本文梳理该版本发布页面的基本信息,分析 vLLM 在大模型推理栈中的定位,并就缺少详细更新日志情况下的升级策略给出建议。

阅读全文 →
Cloudflare GLM-5.3泄漏用户提示词:200 OK背后的内存残留
·6 分钟

Cloudflare GLM-5.3泄漏用户提示词:200 OK背后的内存残留

Cloudflare GLM-5.3因SGLang内存页未清理bug,向155条响应中泄漏了其他用户的提示词,且全部返回200 OK。复盘揭示测试只查状态码不验内容的盲区,自托管用户需升级SGLang 0.5.22。

阅读全文 →
本地运行AI模型全指南:推理引擎与工具栈解析
·6 分钟

本地运行AI模型全指南:推理引擎与工具栈解析

系统梳理本地运行AI大模型的完整工具栈:从PyTorch、GGML等计算库,到llama.cpp、vLLM、SGLang等推理引擎,再到Ollama、LM Studio等封装层,结合实测数据说明各工具的性能差异与选型逻辑。

阅读全文 →
MiniMax M3.1 Flash 落地生产:开源推理生态的里程碑
·4 分钟

MiniMax M3.1 Flash 落地生产:开源推理生态的里程碑

MiniMax M3.1 Flash 已在生产环境大规模运行,由 @inferact 提供带 SLA 保障的推理服务,工程改进回流 vLLM 上游。本文分析其对开源推理生态的意义及对开发者选型的启示。

阅读全文 →
本地大模型部署三条路线:个人、企业、专用引擎怎么选
·8 分钟

本地大模型部署三条路线:个人、企业、专用引擎怎么选

本地大模型部署分三条路线:个人端 Ollama、LM Studio、LLaMA.cpp 如何取舍;企业端 vLLM 与 SGLang 的内存复用模式差异;专用引擎 NIFL、Halogen、Strix 的适用边界。用三个问题帮你选对工具。

阅读全文 →
Liquid AI发布RIPL推理引擎:LFM延迟降至50毫秒内
·4 分钟

Liquid AI发布RIPL推理引擎:LFM延迟降至50毫秒内

Liquid AI 发布实时推理引擎 RIPL,单张 B200 上 LFM2.5-1.2B 的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。本文分析专用推理引擎与小模型实时落地的技术逻辑。

阅读全文 →
DeepSeek开源DeepInfer推理引擎:能跑什么、缺什么
·4 分钟

DeepSeek开源DeepInfer推理引擎:能跑什么、缺什么

DeepSeek 开源了 API 背后的推理引擎 DeepInfer,但它离线专用、仅支持 V4.1-Flash 模型、仅支持 Blackwell 或 Ascend 硬件。本文拆解这三个限制条件、真正受益的团队画像,以及这次开源在策略上的信号意义。

阅读全文 →
DeepSeek开源推理引擎DeepInfer:单集群日赚2200万美元,81天回本
·4 分钟

DeepSeek开源推理引擎DeepInfer:单集群日赚2200万美元,81天回本

DeepSeek开源推理引擎DeepInfer,单集群日处理155T token,日收入2200万美元,毛利率约80%,81天回本。本文分析其性能数据、技术逻辑及对AI推理行业的潜在冲击。

阅读全文 →
DeepSeek开源推理引擎:大模型部署门槛再降低
·4 分钟

DeepSeek开源推理引擎:大模型部署门槛再降低

DeepSeek开源其推理引擎,开发者可本地复现官方推理路径。本文分析推理引擎开源的实际价值、社区反应与实操建议,探讨其对私有化部署和性能调优的影响。

阅读全文 →
vLLM vs Ollama vs llama.cpp:LLM推理引擎终极选型指南
·9 分钟

vLLM vs Ollama vs llama.cpp:LLM推理引擎终极选型指南

深度对比 vLLM、Ollama、llama.cpp 三大 LLM 推理引擎:从 PagedAttention 显存管理、GGUF 量化到并发吞吐实测,给出单卡、Apple Silicon 与企业 GPU 集群的完整选型与硬件配置建议。

阅读全文 →
Reflection-Beam-1.0发布:501B参数MoE模型首日支持vLLM
·5 分钟

Reflection-Beam-1.0发布:501B参数MoE模型首日支持vLLM

Reflection-Beam-1.0发布:501B总参数、23B激活的MoE模型,支持1M token上下文与Harmony格式推理,获vLLM Day-0推理支持和SkyRL Day-0强化学习训练支持,混合注意力架构与融合kernel优化细节解析。

阅读全文 →
单卡RTX 5090跑出2788 tokens/s:扩散LLM加速框架ORL全开源
·6 分钟

单卡RTX 5090跑出2788 tokens/s:扩散LLM加速框架ORL全开源

扩散语言模型加速框架ORL全开源:用On-Policy残差学习提升收敛速度,配合dlmrt推理引擎在单张RTX 5090实现2788 tokens/s,HumanEval pass@1从82.9%升至89.6%,并提供完整训练与评估代码。

阅读全文 →
本地部署大模型实战:Ollama、llama.cpp 与 vLLM 深度对比
·10 分钟

本地部署大模型实战:Ollama、llama.cpp 与 vLLM 深度对比

深度对比 Ollama、llama.cpp 与 vLLM 三大本地大模型部署引擎:易用性、显存要求、量化选择、吞吐性能与成本账,附决策路径与故障排查,帮你选对推理后端。

阅读全文 →
vLLM v0.31.1rc0发布:按缓存层级暴露缓存Prompt Token指标
·4 分钟

vLLM v0.31.1rc0发布:按缓存层级暴露缓存Prompt Token指标

vLLM 发布 v0.31.1rc0 候选版本,新增按缓存层级(cache tier)暴露缓存 prompt token 的指标功能(PR #56318),为大规模 LLM 推理服务的成本优化与性能监控提供更细粒度的可观测性数据。

阅读全文 →
vLLM 亮相 PyTorchCon:开源推理基础设施的集体发声
·4 分钟

vLLM 亮相 PyTorchCon:开源推理基础设施的集体发声

vLLM 核心维护者团队集体亮相 PyTorchCon 北美大会,Simon Mo 发表开源推理基础设施主题演讲,Red Hat AI 团队分享智能体推理与注意力机制,展现开源大模型推理栈的技术风向。

阅读全文 →