DeepSeek开源DeepInfer推理框架:单集群日扛155万eToken

DeepSeek开源线上推理框架DeepInfer,高吞吐、跨硬件、可免费商用。
DeepSeek 将其线上服务实际使用的推理框架 DeepInfer 开源,该框架已支撑 DeepSeek V4.1 Flash 的大规模推理,单集群一天可处理 155 万 eToken,兼顾高吞吐与低延迟。硬件层面同时支持英伟达和华为昇腾,不绑定单一算力平台;许可证采用 Apache 2.0,允许免费商用与自行修改。文章指出,推理框架效率直接决定 AI 服务的算力成本与电力消耗,过去属于各家公司严格保密的核心工程能力,此次开源相当于把降成本的关键工具交给行业,让更多团队无需重复造轮子即可压低推理成本。
DeepSeek近日做了一件在AI工程圈颇受关注的事:把支撑自家线上服务的推理框架开源了,命名为DeepInfer。这不是一个实验性项目,而是DeepSeek真实线上服务的同一套底座,已经撑起了DeepSeek V4.1 Flash的大规模推理服务,主打高吞吐、低延迟。

DeepInfer到底能扛多少活
据B站相关视频介绍,DeepInfer的集群处理能力相当可观——单个集群一天可以处理155万eToken。这个量级说明它不是实验室里的玩具,而是经过真实业务压力验证的工业级框架。高吞吐和低延迟这两个指标同时兼顾,本身就是推理系统工程里最难的部分。
对普通用户来说,这组数字可能只是“很大”;但对做AI服务的人来说,它意味着同样的硬件能服务更多的请求,单次推理的成本结构会完全不同。
eToken 是衡量大模型推理吞吐量的工程口径,指模型在推理过程中实际处理的 token 数量(通常包含输入与输出),前缀 “e” 强调其为实际消耗的等效 token 量。与训练阶段按样本数或序列长度统计不同,推理场景下的 token 吞吐直接对应 GPU 的计算与显存带宽开销,因此被视为推理框架效率最直观的指标。单集群日处理 155 万 eToken 意味着该集群每天完成的模型前向计算规模,换算到单卡或单请求维度,可以进一步推算单位算力成本与峰值并发能力,这也是评估框架能否支撑生产流量的关键依据。
不绑定硬件:英伟达和华为昇腾都支持
DeepInfer的另一个特点是硬件适配上的开放。素材显示,它不只支持任意加芯片,英伟达和华为昇腾两个平台它都支持。这一点在实际部署中很关键:推理框架如果深度绑定某一家硬件,用户的选择空间就会被锁死,迁移成本也会很高。
DeepInfer同时覆盖两条主流技术路线,等于把“用什么芯片跑”的决定权更多交还给了使用者。对于需要在不同算力环境下部署服务的团队,这种不绑定的设计本身就降低了决策风险。

华为昇腾 是华为自研的 AI 算力平台,包含昇腾系列 NPU 芯片以及配套的 CANN 软件栈(对标英伟达的 CUDA)。由于 CUDA 生态长期占据主导,推理框架要支持昇腾,通常需要在算子层、内存管理和通信库上做适配,工作量不小。DeepInfer 同时覆盖 CUDA 与 CANN 两条路线,说明它在抽象层做了硬件解耦设计,使同一套推理逻辑可以编译或调度到不同后端。对国内团队而言,这意味着在算力供应受限或需要混合部署时,有了一条不依赖单一厂商的落地路径。
Apache 2.0协议:免费商用,可自行修改
比技术指标更让开发者在意的是许可证。DeepInfer采用Apache 2.0协议,这意味着你可以免费商用,也能自己改、随便用。对于企业用户,这扫清了法律层面的顾虑;对于想基于它做二次开发的团队,Apache 2.0也提供了足够宽松的空间。
一个推理框架的协议选择,往往决定了它能否真正进入生产环境。DeepInfer直接选了最开放的那一档。
Apache 2.0 是 OSI 认可的开源许可证中商业友好度最高的一档:它允许使用者自由使用、修改、分发软件,包括用于闭源的商业产品,且不要求衍生作品以同样协议开源(这一点与 GPL 类 copyleft 协议不同)。它同时包含明确的专利授权条款,使用者不会因贡献者的专利主张而被动侵权,这对企业法务评估很重要。唯一的主要义务是保留版权与许可声明,并在修改过的文件中标注变更。正因为这些条款,Apache 2.0 常被视为基础设施类项目进入生产环境的“通行证”。
为什么推理框架值得这么激动
模型决定AI有多聪明,但推理框架决定你用不用得起。同样的芯片,框架效率差一点,成本就差一大截。

推理框架的效率直接决定了AI服务的算力成本和电力消耗。这也是为什么这种级别的技术以前都是AI公司严格保密的——它是把模型跑得又便宜又快的核心工程秘密。模型权重可以开源,但怎么让模型在真实流量下高效运转,一直是各家藏在手里的底牌。

开源的意义:把降成本的钥匙交出来
DeepSeek广告把DeepInfer公开,等于把降成本的钥匙直接交了出来。对整个行业来说,这意味着更多团队可以在不重新造轮子的前提下,把推理成本压下来,让智能更便宜地触达更多人。
这或许就是DeepInfer开源的全部意义:不是又多了一个框架,而是把“跑得起”这件事从少数公司的秘密,变成了所有人都能用的公共基础设施。
相关推荐

Claude Mythos 5.2 与 Fable 5.2 错误率异常升高
Claude Mythos 5.2 和 Claude Fable 5.2 出现请求错误率异常升高,官方状态页已标记为调查中。本文梳理事件概况、对开发者的实际影响及应对建议。

ReAct运行时上下文裁剪:Claude Code为何70%就动手
深入解析ReAct运行时的上下文裁剪机制:为什么Claude Code在上下文使用约70%时就触发压缩,工具调用为何占用最多、为何必须成组丢弃,以及代码库为何不需要RAG。基于B站小福哥《分币不掏,学习AI Agent开发》第17节整理。

AI Agent vs LLM:Cursor和Claude Code如何真正工作
深入解析AI Agent与LLM的本质区别:LLM生成代码建议,Agent则通过工具调用修改文件、运行测试。以Spring Boot Bug修复为例,拆解Cursor和Claude Code的工作流、权限控制与验证机制。