DeepInfer
DeepSeek开源的高性能、大规模大模型推理框架，面向DeepSeek模型的部署与推理优化，涉及KV Cache管理、批处理策略等工程优化
核心事实
时间轴 (近 90 天)
海外开发者社区有网友称DeepInfer为“真正的OpenAI”。
DeepInfer开源的是生产环境中的推理栈，而非模型权重。
DeepSeek于10月20日开源了推理框架DeepInfer，目标在于降低模型推理的算力成本与能源消耗。
DeepInfer 开源版本不是完整生产系统，未包含 KV 缓冲管理、跨机器预填充与解码分离、副本间负载均衡等与内部基础设施耦合的部分。
DeepInfer 目前只支持 V4.1 Flash 一个模型，且不支持 Hopper 及更早的显卡。
DeepInfer开源版只支持英伟达SM100和华为昇腾950硬件，并且只能离线推理。
官方建议高效运行DeepInfer的起步配置是64张卡用于prefill加6个token。
DeepInfer将推理拆分为prefill和decode两个阶段，并采用分离式部署：prefill使用8卡机器，decode使用64到128张卡的超节点，两者卡数需求大致1比1。
DeepInfer采用Apache 2.0协议，支持英伟达Blackwell和华为昇腾950，包含专家负载均衡、推测解码和异步调度等组件。
DeepInfer的核心机制是上下文缓存，将已计算的数学路径保留在内存中，缓存有效期超过72小时。
还有 34 条时间轴事件
全部知识事实 (20)
DeepSeek由深度求索公司开发
80%已验证DeepSeek在7月更新日志中将内部Harness（「极简模式」）归功为V4 Flash编程基准评分的幕后功臣
65%部分验证DeepInfer是一个开源的SOTA（State-of-the-Art）推理系统。
70%部分验证DeepSeek于10月20日开源了推理框架DeepInfer，为V4.1 Flash提供优化算子、多卡并行和异步调度能力，采用Apache 2.0许可。
70%待验证DeepInfer开源的是离线推理核心，完整的在线服务链路仍需自行补齐缓存层和负载均衡。
60%待验证根据视频信息，DeepInfer兼容英伟达和华为昇腾两大平台，单集群日吞吐量能达到155万亿token，每张GPU每小时能收入38美元。
60%待验证DeepInfer开源的是生产环境中的推理栈，而非模型权重。
50%待验证海外开发者社区有网友称DeepInfer为“真正的OpenAI”。
50%待验证DeepInfer 目前只支持 V4.1 Flash 一个模型，且不支持 Hopper 及更早的显卡。
50%待验证DeepInfer 开源版本不是完整生产系统，未包含 KV 缓冲管理、跨机器预填充与解码分离、副本间负载均衡等与内部基础设施耦合的部分。
50%待验证DeepInfer开源版只支持英伟达SM100和华为昇腾950硬件，并且只能离线推理。
50%待验证DeepInfer将推理拆分为prefill和decode两个阶段，并采用分离式部署：prefill使用8卡机器，decode使用64到128张卡的超节点，两者卡数需求大致1比1。
50%待验证官方建议高效运行DeepInfer的起步配置是64张卡用于prefill加6个token。
50%待验证DeepInfer采用Apache 2.0协议，支持英伟达Blackwell和华为昇腾950，包含专家负载均衡、推测解码和异步调度等组件。
50%待验证DeepInfer的核心机制是上下文缓存，将已计算的数学路径保留在内存中，缓存有效期超过72小时。
50%待验证DeepInfer 中的 DSpark 会先估计草稿通过的概率，再结合硬件吞吐情况调整每条请求值得验证多长的草稿。
50%待验证本期内容依据官方文档整理，没有做部署测速。
50%待验证DeepInfer官方数据显示，单集群日吞吐量可达155万亿Token，输入缓存命中率高达96%，聊天缓存最长可保留七天。
50%待验证DeepInfer 仅支持 V4.1-Flash 模型。
50%待验证企业使用 DeepInfer 仍需自建网关、鉴权、监控与灰度发布等服务层组件。
50%