DeepSeek开源DeepInfer推理框架：服务V4.1-Flash

DeepSeek 把生产环境里跑 DeepSeek-V4.1-Flash 的推理框架放了出来。这个名为 DeepInfer 的项目以 Apache 2.0 协议开源，瞄准的是 NVIDIA SM100 GPU 和华为昇腾 950 NPU 两类硬件，而且目前只提供离线推理能力。消息来自 MarkTechPost 的报道。

DeepInfer 到底是什么

DeepInfer 的定位很明确：它不是面向开发者的通用推理工具包，而是 DeepSeek^广告 自家线上服务所用的那套推理栈。官方把「服务 DeepSeek-V4.1-Flash 生产流量」作为核心卖点，这意味着框架里沉淀的是经过真实负载检验的调度、显存管理和算子实现，而非实验室里的原型代码。

采用 Apache 2.0 协议值得单独说一句。这个许可允许商用、修改和再分发，对企业用户相对友好，也降低了二次开发的法律摩擦。对于一个推理框架来说，宽松许可往往是生态能否铺开的第一步。

硬件路线：同时押注 NVIDIA 与昇腾

DeepInfer 最引人注意的地方，是它在硬件适配上没有只盯着 NVIDIA。框架明确支持 NVIDIA SM100 GPU——这是 Blackwell 架构对应的计算能力等级——同时把华为昇腾 950 NPU 列为目标平台。

这种「双栈」策略在开源推理框架里并不常见。多数项目要么深度绑定 CUDA 生态，要么只做某一家的国产芯片适配。DeepSeek 选择两条腿走路，一方面说明其内部推理负载需要覆盖不同硬件环境，另一方面也暗示昇腾 950 在其部署版图中占有实际分量。对想在国内算力环境下落地大模型推理的团队来说，这层适配信息本身就有参考价值。

不过也要看到，同时支持两套异构硬件意味着维护成本翻倍。社区接手后能否保持两条硬件线的同步更新，是判断这个项目生命力的关键观察点。

SM100 是 NVIDIA 在 Blackwell 架构中使用的计算能力等级标识，对应数据中心级 GPU 产品（如 B100、B200 系列）。相比上一代 Hopper 的 SM90，SM100 在 FP8/FP4 低精度算力、显存带宽和 NVLink 互联带宽上都有明显提升，并引入了对更大规模专家并行更友好的硬件特性。对推理框架而言，适配 SM100 意味着需要跟进新的指令集、张量核心布局和显存层级，而不能直接复用针对 A100/H100 优化的内核。这也是 DeepInfer 强调 SM100 支持的原因：它表明框架已经针对最新一代硬件重写了关键算子。

昇腾 950 是华为昇腾 AI 处理器路线图中的新一代产品，面向大模型训练与推理场景。与 CUDA 生态不同，昇腾使用自研的达芬奇架构和 CANN 软件栈，算子开发、图编译和内存管理方式都与 NVIDIA 体系存在较大差异。把推理框架移植到昇腾上，通常需要重写底层内核、适配 HCCL 集合通信，并处理图模式与算子融合的差异。因此「支持昇腾 950」并不是一个配置开关，而是需要独立的工程投入，其实际成熟度需要通过实测吞吐、算子覆盖率和精度一致性来检验。

只做离线推理：一个克制的取舍

DeepInfer 当前只提供离线推理（offline inference），不支持在线服务场景。这个限制乍看是短板，实际上透露了框架的设计重心。

离线推理通常用于批量生成、数据合成、评测跑分等任务，对延迟不敏感但对吞吐和显存效率要求高。DeepSeek 把生产环境验证过的离线路径先开源，等于把最成熟、最容易复现的部分交出来，同时避开了在线服务里与具体业务耦合过深的调度逻辑。

对使用者而言，这意味着 DeepInfer 短期内更适合做批量推理任务的底座，而不是直接替换 vLLM、SGLang 这类在线推理引擎。如果目标是搭建实时对话服务，仍需评估其能力边界。

在线推理与离线推理的核心差异在于调度目标。在线服务以请求为单位，追求首 token 延迟和尾延迟，需要连续批处理、抢占式调度和精细的 KV Cache 分页管理，以应对请求到达的不确定性。离线推理则以任务为单位，输入规模已知，可以把大批量请求一次性编排，最大化 GPU 利用率与吞吐。两者在批处理策略、显存分配和故障恢复上的设计取向不同，因此一个为离线场景打磨的框架，通常不能直接承担在线服务的延迟要求。

开源推理框架的竞争格局

推理框架赛道这两年已经相当拥挤。vLLM 靠 PagedAttention 建立了生态优势，SGLang 在结构化生成和调度上做出差异，TensorRT-LLM 则绑定 NVIDIA 的极致性能。DeepInfer 此时入场，靠什么立足？

它的差异化大概率不在通用性，而在「与 DeepSeek 模型深度协同」。官方称其为 V4.1-Flash 的生产推理框架，说明框架内部针对该模型的结构做了专门优化。这种模型与框架联合设计的思路，与当年 Meta 围绕 Llama 生态推动推理优化的路径类似——先服务自家模型，再向外溢出价值。

另一个变量是昇腾适配。国内推理框架在国产 NPU 上的成熟度普遍落后于 CUDA 生态，如果 DeepInfer 能在昇腾 950 上提供可用的性能表现，它在特定市场里的吸引力会明显高于通用框架。

PagedAttention 是 vLLM 提出的 KV Cache 管理机制，借鉴操作系统虚拟内存分页的思路，把 KV Cache 切分为固定大小的块并按需分配，从而消除因预分配最大长度造成的显存浪费，并支持块级别的共享与回收。这一机制显著提升了并发请求下的显存利用率和吞吐，也成为后续许多推理框架借鉴的基础设计。理解 PagedAttention 有助于判断 DeepInfer 在显存管理上的取舍：若其离线路径采用不同的批处理与缓存策略，性能对比就不能只看单一指标。

值得关注的问题

框架开源只是起点，几个现实问题决定了它能走多远。

文档与示例的完整度。生产框架往往与内部基础设施强耦合，开源版本能否脱离 DeepSeek 内部环境独立跑通，是社区最先会撞上的门槛。

昇腾 950 的实际支持程度。报道只提到它是目标平台，但没有给出性能数据或功能覆盖范围。NPU 适配的深度差异很大，需要社区实测验证。

路线图是否包含在线推理。离线与在线推理在调度、批处理、KV Cache 管理上的要求差别不小。官方是否计划补齐在线能力，会直接影响框架的适用范围。

总体来看，DeepInfer 的开源对关注推理性能优化和国产算力适配的团队有明确价值。它提供了一份来自真实生产环境的参考实现，尤其是在双硬件栈这个维度上，填补了公开资料的空白。但把它当作即插即用的通用推理方案，目前还为时过早。