DeepSeek开源推理框架DeepInfer：推理服务赚钱逻辑与行业影响

DeepSeek开源自用推理框架DeepInfer，在技术圈引发热议。这不仅是技术分享，更首次公开了推理服务的成本收益模型：128卡集群年收益超4000万美元。本文拆解推理框架的技术细节、开源的真实意图，以及哪些企业会真正受益。

推理框架是什么？为什么它如此重要

大模型本质是Next Token Prediction，从用户输入到输出返回的过程称为Inference（推理）。服务单个用户时，一张GPU足以完成；但面对海量用户请求，就需要GPU集群调度工程能力——这就是推理框架。

推理框架的核心价值在于降本增效。DeepSeek^广告的框架针对自家模型深度优化，通过多项技术手段压低成本、提升输出效率。

DeepInfer的核心技术优化

KV Cache：避免重复计算

当多个用户提交相同内容（比如同一份报告）时，模型会缓存已计算的部分，后续相同输入直接复用缓存结果。据视频分享，DeepSeek的缓存命中成本为0.003美元/百万Token，未命中为0.15美元/百万Token，相差50倍。输出成本约0.6美元/百万Token。这种缓存机制大幅削减重复计算开支。

Token成本相关截图

KV Cache（Key-Value Cache）是自回归生成中的核心优化技术。Transformer 解码时，每生成一个新 Token 都需要对之前所有 Token 的 Key 和 Value 向量做注意力计算。若不缓存，这些中间结果会被反复重算，计算量随序列长度平方增长。KV Cache 将已计算的 Key/Value 张量保存在显存中，新 Token 只需计算自身并与缓存拼接，把复杂度降为线性。代价是显存占用：缓存大小与序列长度、层数、注意力头数成正比。生产环境还需处理缓存淘汰、多请求间前缀共享（如 DeepSeek 的缓存命中定价即源于此）以及显存碎片整理，工程复杂度很高。

Prefill与Decode分离：提升GPU利用率

输入（Prefill）和输出（Decode）阶段的计算特征不同。将二者拆分到不同GPU上运算，能更高效地利用硬件资源。这一思路在vLLM等开源框架中也有体现，但DeepSeek针对自家模型做了更精细的适配。

输出过程相关截图

Prefill 阶段并行处理整个输入序列，是计算密集型（compute-bound），能充分利用 GPU 算力；Decode 阶段逐 Token 生成，每步只算一个词，是访存密集型（memory-bound），GPU 算力大量闲置。若两者混跑在同一 GPU 上，Decode 会被 Prefill 的长计算阻塞，导致输出延迟抖动。分离部署让两类负载跑在不同 GPU 池上，各自按最优 batch 策略调度，既提升整体吞吐，又稳定首 Token 延迟。这一架构在 vLLM 的 disaggregated prefilling、Splitwise 等系统中已有探索，但需要解决 KV Cache 在 GPU 间的跨节点传输开销问题，对互联带宽要求很高。

推测解码与异构调度

推测解码让模型先“猜”后续词，猜对则跳过逐词生成，提升并行效率。此外，框架还处理GPU间（如128卡集群）以及GPU与CPU间的调度：当大量请求涌入时，用CPU做好请求排队，区分闲时忙时，避免GPU空等。

这些优化单点提升有限，但叠加后对整体效率的改善非常可观。

推测解码（Speculative Decoding）用一个轻量“草稿模型”先快速生成若干候选 Token，再由目标大模型一次性并行验证这些候选。若验证通过则直接采纳，相当于用一次大模型前向替代多次串行生成，在输出分布不变的前提下提升解码速度。草稿模型可以是小模型、模型自身的某几层，或基于检索的 n-gram 猜测。其收益取决于草稿命中率：命中率越高，加速越明显；若草稿质量差，验证失败反而增加开销。工业落地还需处理动态调整草稿长度、与连续批处理（continuous batching）的兼容等问题。

首次公开推理服务的赚钱逻辑

DeepSeek按“谷时计价”（低峰时段如周日）计算：每GPU每小时收益约38美元。按全年365天、每天24小时、128卡集群计算，年收益约4000多万美元（约合人民币3亿多元）。企业可据此评估：购买128张GPU的成本能否带来持续稳定的投资回报。

这是DeepSeek首次向外界展示推理服务可以这样赚钱——提供模型推理本身就能产生持续收益。

谁真正受益？

间接受益：中小企业与制造业。它们不会自购GPU（买不到也贵），而是通过持续降低的API价格获益。

直接受益：推理服务厂商。腾讯云、阿里云^广告、字节等云厂商，以及硅基流动等第三方API服务商，可直接利用这套开源框架提升效率、降低成本。

第三方服务商截图

但开源并非“开箱即用”。离线环境下可测试框架、了解技术细节，但线上部署仍需大量工程能力：KV Cache缓存机制、跨集群负载均衡、Prefill/Decode拆分的具体实现等并未完全公开。现有vLLM、SGLang等开源框架的用户，可借鉴其算子、思想和模块优化自身推理框架。

第三方服务分流截图

开源的真实意图：短期分流，长期建生态

有人担心：开源后第三方服务崛起，谁还用DeepSeek自家API？短期确实会分流部分API购买，但DeepSeek并未开源全部线上服务细节，其他厂商适配仍需时间。

更深层的价值在于：加速技术应用与理解、吸引开源人才、将能力释放给行业共同进步。当更多推理服务商愿意跑DeepSeek模型，模型价值进一步显现——在A家B家C家模型泛滥的当下，高效、优质、低成本才是用户选择理由。这本质上是在构建生态、设定标准。

据视频分享，DeepSeek近期完成了第二轮融资，并可能于2027年上市。在这个节点开源推理框架，既有技术普惠的情怀，也有生态卡位的战略考量。