DeepSeek开源推理框架DeepInfer：AI推理成本砍半的秘密

DeepSeek 又一次把大模型行业的底牌摊在了桌面上。继开源模型权重之后，它把支撑线上服务的核心推理框架 DeepInfer 连同配套组件 DeepSeek Recipe 一并开源，还附上了一份详尽的“账本”。这份账本里有两个数字格外扎眼：单张 B200 显卡每小时能带来 38 美元收入，而市场租金大约只要 8 美元；线上收到的输入里，平均 96% 根本不需要重新计算。这期内容不堆术语，跟着一条消息从按下回车到第一个字出现在屏幕上的路径，看看 DeepSeek 的“中央厨房”到底是怎么把推理成本打下来的。

开源推理框架，为什么整个行业都炸了

很多人容易把“模型开源”和“推理框架开源”混为一谈。平时新闻里说的开源，开的主要是模型权重——训练出来的几百 GB 参数，配上模型结构、分词器和一段推理代码，你就能把模型跑起来。更准确的说法叫“开放权重”，相当于把一道招牌菜的配方公开了。但 DeepSeek^广告 不是一天做一份菜，它每天要应付海量请求，同一份配方，家庭厨房一天做十份，中央厨房一天做十万份，每份成本还更低。差别不在配方，在厨房怎么排单、怎么分工、半成品怎么复用、灶台会不会闲着。这个中央厨房，就是推理框架。

这件事分量重，有三个原因。第一，这是大模型公司最值钱的工程秘密之一，同一份权重交给不同团队部署，成本可能差好几倍。就在上个月，OpenAI 把 GPT-6 Luna 的 API 价格砍了一半，给出的理由正是缓存和推理效率的提升——现在的价格战，拼的就是推理效率。第二，DeepSeek 之前明确说过不开源完整引擎，理由是内部推理引擎跟自家集群绑得太死，团队没精力维护，这次等于把承诺兑现了。第三，它不光给代码，还附上了账本：单个集群一天处理 155 万亿个 Token，平均每张卡每小时收入 38 美元。注意这是收入不是利润，而且是按闲时低价折算的，成本没公布，但对照市场租金，这门生意的空间不难感受。155 万亿是什么概念？平均每秒大约 18 亿个 Token。难怪评论区有人说：真正的 OpenAI 来了。

从一条消息的旅程看省钱术

第一站：Tokenization 的防伪与提速

模型看不懂文字，只认数字。消息进门第一件事是被翻译成一串数字，也就是 Token。这一步看着简单，DeepSeek 却专门开源了 DeepSeek Recipe 来处理几个很实际的问题。第一个是防伪：模型内部会用特殊暗号标记对话结构，哪里是用户说话、哪里思考结束、哪里调用工具。如果有人手动敲出一模一样的暗号字符串冒充系统指令呢？Recipe 的做法很像公章——真正的暗号有专门编号，你在文字里写出来的同样几个字只会被当成普通文字，写的再像也不是公章。反过来，模型输出里用普通文字拼出来的暗号也不会被当成真指令。

第二个是提速。现在一条消息动不动几万几十万字，从头到尾逐个翻译本身就要花时间。Recipe 发现暗号之间那几段普通文字可以拆开同时翻译，最后再按顺序拼回去。还有个细节：一个汉字通常占三个字节，有时会被拆到好几个 Token 里，Recipe 会先把不完整的字凑齐了再发出来，避免屏幕上蹦出乱码。更重要的是，这套逻辑和 DeepSeek 官方 API 完全对齐，自己部署 DeepSeek 模型时，接口表现也能和官方一致。

第二站：读题与写答案分家

你有没有注意过，AI 回答之前总要先愣一下，然后才一个字一个字往外蹦？因为大模型干活分成两个完全不同的阶段。第一个阶段叫 Pre-fill，可以理解成读题：你发来的所有内容——系统提示、聊天记录、上传的文件、你的问题——模型要一口气全读一遍，你看到的那一下愣住就是它在读题。第二个阶段叫 Decode，就是写答案，而且只能一个 Token 一个 Token 地写，每写一个都要回头看一遍前面所有的内容。

这两个阶段的脾气完全不一样。读题是几万个 Token 同时处理，拼的是算力，芯片越能算越好；写答案每次只出一个 Token，芯片大部分时间不是在算而是在翻资料，从显存里搬运参数和值钱的记录，拼的是搬运速度。把这两种活塞给同一批机器，就像让同一个厨师既负责切一千斤菜又负责一道一道精细出餐，两头都干不好。所以 DeepSeek 把它们拆开放到不同的机器上，行内叫 PD 分离。读题用常见的 8 卡服务器，写答案用 64 到 128 张卡连在一起的超节点，如果发了图片还有单独的机器先把图看懂。拆开之后还能各自优化：读题那边专心缩短你等第一个字的时间，写答案那边专心让字蹦得又快又稳。

Pre-fill 与 Decode 的访存特性差异

Pre-fill 阶段处理的是整段输入，几万个 Token 可以并行计算，矩阵乘法的规模大、计算密度高，GPU 的算力单元几乎被喂满，因此是典型的 compute-bound（算力受限）负载。Decode 阶段每步只生成一个 Token，虽然也要过一遍全部模型层，但每次参与的向量极小，绝大部分时间花在把权重和 KV Cache 从显存搬运到计算单元上，算力单元大量闲置，是典型的 memory-bound（访存受限）负载。这两个阶段对硬件的诉求几乎相反：前者希望算力越强越好，后者希望显存带宽越大越好。PD 分离的工程意义就在于让两类机器各自按最优配置采购和调度，而不是用同一批机器同时迁就两种负载，从而避免任何一边都跑不满。

第三站：让模型学会“翻笔记”

为什么跟 AI 聊得越久越慢越贵？你每发一条新消息，模型都要把整段对话从头再读一遍。聊了 50 轮，第 51 轮它要重读前面 50 轮。如果用的是写代码的 AI 智能体，情况更夸张，它每调用一次工具就要把整个历史、系统提示、工具说明、之前读过的代码全部重新发一遍。DeepSeek 线上的数据是平均每次请求的输入有 7.7 万个 Token，每次都从头读，成本就爆炸了。

所以有一个关键技术叫 KV Cache，你可以把它理解成模型读题时记的笔记：读过的内容在模型每一层算出来的中间结果都存下来，下次同样的开头再来，直接翻笔记，只读新增的部分。规则是必须开头一模一样才能用笔记，从中间开始重复的内容用不上。DeepSeek 把这件事做到了什么程度？线上平均 96% 的输入都直接命中了笔记，不用重新算。作为对比，去年 2 月这个数字是 56%。同一张卡做读题，只算真正需要计算的内容，每秒能处理 6 万个 Token；把命中笔记的部分算进去，每秒是 150 万个，差了 25 倍。这也直接写进了价格表：没命中缓存的输入每百万 Token 一块钱，命中缓存的二分钱，差了 50 倍。所以你现在知道了，AI 智能体之所以能便宜地跑起来，很大程度上靠的就是这份笔记。

这么多笔记存哪儿？DeepSeek 的答案是专门建一座档案馆，用自家开源的分布式文件系统 3FS 搭了一个独立的存储集群，大约 100PB 的固态硬盘，差不多相当于 11 万块 1TB 的固态硬盘。智能体的笔记保存 3 天，普通聊天保存 7 天。为什么聊天反而存更久？因为聊天里有少数笔记会被反复翻很多次，丢了很亏。数据显示，聊天如果只存 3 天，命中率会掉 0.5 到 1 个百分点。笔记不直接放在计算机器的内存里，非要单独进档案馆，有两个原因：一是任何一台机器都能查任何一份笔记，你的下一条消息被分到哪台机器都无所谓，调度就自由了；二是计算机器出故障的概率比存储高一个数量级以上，笔记放在档案馆，机器坏了笔记还在。而且翻档案不能拖慢入口，入口只花一点点时间查目录确认能命中多长，真正把数据从硬盘搬到显卡是在后台和计算同时进行的。需要说明一句，这座档案馆的代码这次没有开源，DeepSeek 说它和内部基础设施绑得太深，但设计思路在技术报告里讲得非常细。

DeepSeek V4.1 还有一个很巧的设计。它的模型里有一部分层是“近视眼”，只看离自己最近的 128 个 Token，这部分笔记只在对话进行的几分钟里有用。上一代 V4 把这种短期笔记也存进了档案馆，结果占了将近一半的空间，收益却很小。V4.1 改了：短期笔记不存档，只放在本机内存里，大约三分钟就清掉，命中率依然在 98% 以上。万一没命中也不从头读，只把最后 128 个 Token 重读一遍，补出一份近似的笔记。这样一来，补救的成本是固定的，不管对话是一万字还是一百万字。同样的思路还用在了模型的另一部分层上：原本每次读题都要重算最后 2560 个 Token，现在只要 128 个，读题的总计算量差不多砍掉一半。这个技术叫 SWA Bound 的 replay，这次开源的 DeepInfer 里就有。

KV Cache 的空间代价与淘汰策略

KV Cache 之所以值得单独建一座 100PB 的档案馆，是因为它的体积随上下文长度线性膨胀。每一层、每一个注意力头都要为每个已处理的 Token 保存一对 Key 和 Value 向量，上下文越长、并发越高，显存里根本放不下。这也是为什么缓存命中率的提升能直接反映在价格上：命中意味着这部分 Token 的 KV 不需要重新计算，既省了算力又省了时间。而缓存不可能无限保留，必须设定过期时间做淘汰，DeepSeek 按业务类型区分保存时长，本质上是在缓存命中率与存储成本之间做权衡——聊天场景里少数笔记被反复命中，多存几天收益更高，智能体场景则相对均匀。

第四站：分诊台与闲时折扣

为什么 DeepSeek 工作日白天贵，晚上和周末打五折？因为算力最怕两件事：堵着和闲着。DeepSeek 的模型用的是 MoE 混合专家架构，可以想成一家医院，不是每个医生都看全科，而是有很多专科诊室，每个 Token 进来只去自己需要的那几个诊室。写答案的时候，DeepSeek 把这些诊室摊到 64 到 128 张卡上，每张卡只做几个专家，每张卡要翻的资料少了，速度就快，同时能接待的病人也多，一批一起看效率就高。

但这里有个致命问题：木桶效应。这么多卡是一步一步同步往前走的，每一步都要等最慢的那张卡，只要某个诊室排长队，所有卡都得陪着等。所以 DeepSeek 做了四套分诊台：读题的、写答案的、看图的、专家之间的。比如热门专家就多开几间诊室，每张卡上多放几个热门专家的副本，每隔一段时间再根据最近的忙闲重新排班。结果是最慢的那张卡也只比平均水平慢不到 10%，DeepSeek 自己的说法是线上整体能跑到完美均衡理想情况的大约八成。

再说闲着。流量白天高晚上低，读题和写答案需要的机器比例也一直在变，所以系统会自动扩缩容，随时调整两边的机器数量，还会刻意多留一些机器备着应对突然的流量高峰。闲时打五折，本质上可以理解为鼓励你把需求挪到机器闲着的时候。顺便说一句，专家之间的负载均衡这次开源的 DeepInfer 里有，跨机器的那几套分诊台和档案馆一样，这次没有开源。

MoE 的专家并行与负载均衡难题

MoE（混合专家）架构把前馈网络拆成许多专家，每个 Token 只激活其中少数几个，从而在参数量巨大的同时控制单次计算量。但在分布式部署下，专家被分散到不同显卡上，一次前向传播需要跨卡交换 Token（all-to-all 通信），任何一张卡上的专家过载都会拖慢整批。这就是文章所说的木桶效应。解决办法通常有两类：一是复制热门专家，让多张卡各存一份副本分担流量；二是动态重排，定期根据统计到的路由分布重新分配专家位置。DeepSeek 把最慢卡与平均水平的差距压到 10% 以内，说明其调度已经接近理想均衡，这也是 MoE 推理成本能压下来的关键工程环节之一。

第五站：投机解码与零浪费排班

AI 为什么只能一个字一个字往外蹦，能不能一次多写几个？标准做法下，大模型每算一步只能写出一个 Token。想快就得想办法一步写好几个，这里有个很聪明的办法叫投机解码：想象一个老专家带一个实习生，实习生手快，先一口气写出接下来五个 Token 的草稿，老专家一字一句检查，这五个前面写对的直接用，第一个写错的地方老专家改正，后面的作废，接着来。最终结果由老专家把关，质量不打折。如果显卡不忙，检查五个和老专家自己写一个花的时间差不多，这就是白赚。

但在线上一张卡同时伺候几十个请求，每多检查一个草稿都要占掉一份算力，而草稿越往后越容易猜错，检查那些大概率会错的字就是浪费。DeepSeek 自研的方案叫 DeSpark，它多做了一步：给每个草稿字估一个能被采纳的概率，再结合显卡的实际吞吐情况，算出每个请求检查到第几个字最划算。效果是每一步要检查的草稿少了大约三成，被采纳的字数几乎没变，在线上的工作负载下能多出大约 4% 到 7% 的吞吐。DeepSeek 今年 7 月的论文里还给过一个数：在上一代 V4 的线上系统里，和原来的方案相比，同样的总吞吐下，每个用户看到的出字速度快了 60% 到 85%。

还有一个零浪费的细节。每两步计算之间，CPU 要排班处理上一步的结果，这段时间显卡原本只能干等。DeepInfer 让 CPU 提前一步干活：显卡在算第 N 步的时候，CPU 已经把第 N+1 步安排好了，显卡全程不停。就像厨师还在炒这盘菜，服务员已经把下一桌的单子排好、配菜递到了手边。最终线上的结果是平均每秒生成大约 230 个 Token，写代码的场景能到 300。

泼一点冷水：开源的分量与门槛

必须说清楚这次开源的边界。第一，这次开源的是离线推理版本，是引擎核心；刚才讲的笔记档案馆、读题和写答案分开部署、跨机器的分诊台，这三块代码没有放出来，要自己打。第二，门槛很高：目前只支持 DeepSeek 自家的 V4.1 Flash 模型，硬件要英伟达 B200、GB200 这类数据中心显卡，或者华为昇腾 950，想跑出好效率起步大概是 64 张卡读题加 64 张卡写答案，个人电脑就别想了。所以直接受益的是云厂商、大企业，还有 vLLM、SGLang 这些开源推理框架的开发者，他们可以直接研究借鉴这些优化——DeepInfer 本身最早也是在 vLLM 的基础上改出来的。

但至少引擎这部分给的是真家伙。DeepSeek 在仓库的部署问答里说，开源的算子库和内部版本大体一致，端到端性能最多差 5%。这件事意义重大，因为它第一次把“怎么让 AI 变便宜”从一个黑箱摊开在了所有人面前。从开源模型到开源算子，再到今天开源推理框架、公开账本，DeepSeek 一步步把整条链路拆给人看。还有一个容易被忽略的细节：官方版本同时适配英伟达和华为昇腾，国产芯片和英伟达被放进了同一个生产级系统里。以前大家比的是谁的模型更聪明，接下来要比的是谁能把同样的聪明卖得更便宜。

DeepSeek 把厨房的核心都开源了，你觉得它的护城河还剩下什么？