SGLang-Diffusion：面向扩散模型的高性能服务框架

为扩散模型量身打造的推理引擎

在生成式AI的浪潮中，扩散模型（Diffusion Models）已经成为图像、视频等生成任务的核心技术路线。然而，相较于大语言模型成熟的推理服务生态，扩散模型的部署与服务优化长期缺乏专门的工具支撑。来自 Riddick Stark（SGLang 团队）技术成员 Yihao Wang 和 Kevin Mee 公布的 SGLang-Diffusion 项目，正是瞄准这一痛点——一个专为扩散模型设计的高性能推理引擎与服务栈。

根据两位作者的介绍，SGLang-Diffusion 不仅是一个推理引擎（inference engine），更是一整套服务堆栈（serving stack）。这意味着它不仅关注单次推理的速度，还覆盖了从请求调度到模型并行执行的完整链路，目标是在生产环境中稳定、高效地提供扩散模型服务。

SGLang（Structured Generation Language）最初是专为大语言模型设计的高性能推理与服务框架，由学术界与工业界联合推动。其核心创新之一是 RadixAttention——一种基于前缀树（Radix Tree）的 KV Cache 复用技术，能够在多请求之间自动识别并共享相同的 prompt 前缀缓存，从而大幅减少冗余计算、提升吞吐量。SGLang 还提供了高效的连续批处理（continuous batching）调度机制，使其在 LLM 服务基准测试中表现优异。正是凭借这套工程体系，SGLang 在 LLM 推理服务领域逐步建立起竞争力。将这些经验迁移到扩散模型上，是 SGLang-Diffusion 项目的核心出发点。

覆盖离线与实时两种场景

SGLang-Diffusion 的一个关键设计定位，是同时支持**离线（offline）与实时（real-time）**两类工作负载。这两种场景对服务框架的要求差异很大：离线批处理追求吞吐量最大化，往往可以牺牲单请求延迟来换取整体效率；而实时服务则必须严格控制延迟，保证用户交互的流畅体验。

一个框架要同时兼顾这两种模式并非易事，它要求在调度策略、资源分配和执行路径上具备足够的灵活性。从作者透露的信息看，SGLang-Diffusion 正是围绕这种双场景需求展开了针对性的工程设计。

并行化方案与执行路径的服务优化

两位作者在预告中重点提到了几个技术方向：针对不同**并行化方案（parallelization schemes）**的服务优化、**执行路径（execution path）**的设计，以及如何在 SGLang 上服务前沿扩散模型（frontier diffusion models）。

扩散模型的推理涉及多步去噪迭代，计算密集且显存占用高。通过合理的并行化策略——例如张量并行、流水线并行或面向扩散特性的专用拆分方式——可以在多卡环境下显著提升吞吐并降低延迟。而执行路径的优化，则关乎如何减少冗余计算、优化算子调度，让每一步去噪尽可能高效。

这些优化之所以值得关注，是因为 SGLang 本身已经在大语言模型服务领域凭借 RadixAttention 等技术建立了口碑。将这套工程能力迁移并扩展到扩散模型上，有望把 LLM 服务领域积累的调度与并行经验复用到视觉生成任务中。

扩散模型的推理与 LLM 存在本质差异，这也是专门优化的必要性所在。LLM 推理是自回归逐 token 生成，瓶颈在于内存带宽与 KV Cache 管理；而扩散模型则需要对同一 UNet 或 Transformer（如 DiT，Diffusion Transformer）结构执行数十乃至数百步去噪迭代，每步都是一次完整的前向传播，计算量远高于单次 token 生成。常见的并行化策略包括：张量并行（Tensor Parallelism），将单层权重矩阵切分到多张 GPU 上同步计算；流水线并行（Pipeline Parallelism），将模型按层切分到不同设备形成流水线；以及近年针对扩散模型去噪步骤特性提出的序列并行或步骤级并行，利用相邻去噪步之间的依赖关系做异步调度。选择合适的并行方案对于多卡集群下的推理延迟与显存利用率至关重要。

亮相 PyTorch Conference

据悉，Yihao Wang 与 Kevin Mee 将在 2026 年 10 月 20 日至 21 日于美国加州圣何塞举行的 PyTorch Conference 上，正式介绍 SGLang-Diffusion 的技术细节。届时他们会深入讲解服务优化、并行化方案与前沿模型的部署实践。

对于正在寻找扩散模型高效部署方案的开发者与团队而言，这是一个值得关注的方向。随着图像与视频生成应用的规模化落地，专门化的服务框架将成为降低成本、提升用户体验的关键基础设施。

小结

目前关于 SGLang-Diffusion 的公开信息仍较为有限，更多技术细节有待大会披露。但从定位来看，它填补了扩散模型服务工具链中的一块空白：把成熟的高性能服务理念系统性地引入扩散模型领域，并兼顾离线批处理与实时交互两种典型需求。感兴趣的从业者可以关注 PyTorch Conference 的相关议程以获取第一手资料。