DeepSeek-Infer
DeepSeek开源的内部推理框架，针对其模型与硬件特性深度定制，支持大规模线上服务，包含投机解码、一步调度等优化技术。
时间轴 (近 90 天)
DeepSeek-Infer专门优化了模型执行、采样和算子，并考虑了多卡分工与专家负载均衡。
DeepSeek-Infer采用了投机解码（Speculative Decoding）技术。
DeepSeek-Infer支持滑动窗口的有限重放，状态恢复时只回放最近一小段token以减少重复计算。
DeepSeek-Infer采用一步调度（One-step Scheduling），使调度决策与GPU计算重叠进行以隐藏调度开销。
DeepSeek-Infer具备批次不变性，确保同一个请求无论跟谁放在一批里计算，模型的结果都保持一致。
DeepSeek-Infer支持结构化输出，例如要求模型按指定的JSON格式回复。
DeepSeek-Infer此次开源的是离线推理部分。
DeepSeek-Infer开源仓库未包含完整的KVCache系统、视觉编码与Prefill/Decode分离部署、以及多个副本之间的请求负载均衡。
目前DeepSeek-Infer支持的硬件是英伟达SM100 GPU和华为昇腾950。
全部知识事实 (9)
DeepSeek-Infer专门优化了模型执行、采样和算子，并考虑了多卡分工与专家负载均衡。
50%待验证DeepSeek-Infer采用了投机解码（Speculative Decoding）技术。
50%待验证DeepSeek-Infer支持滑动窗口的有限重放，状态恢复时只回放最近一小段token以减少重复计算。
50%待验证DeepSeek-Infer采用一步调度（One-step Scheduling），使调度决策与GPU计算重叠进行以隐藏调度开销。
50%待验证DeepSeek-Infer具备批次不变性，确保同一个请求无论跟谁放在一批里计算，模型的结果都保持一致。
50%待验证DeepSeek-Infer支持结构化输出，例如要求模型按指定的JSON格式回复。
50%待验证DeepSeek-Infer此次开源的是离线推理部分。
50%待验证DeepSeek-Infer开源仓库未包含完整的KVCache系统、视觉编码与Prefill/Decode分离部署、以及多个副本之间的请求负载均衡。
50%待验证目前DeepSeek-Infer支持的硬件是英伟达SM100 GPU和华为昇腾950。
50%