SGLang
SGLang（Structured Generation Language）是一个面向大型语言模型的开源推理框架，旨在提升LLM服务的执行效率与编程灵活性。其核心特性包括：通过RadixAttention实现KV缓存的高效复用、支持结构化输出约束（如JSON模式）、以及提供简洁的前端编程接口用于构建复杂的多步骤推理流程。SGLang兼容多种主流模型架构及GPU硬件，适用于学术研究与生产环境下的高性能推理部署。
核心事实
时间轴 (近 90 天)
在SGLang内部，使用Delta Tokenizer后聊天接口的中位TTFT在100K token时降低59%。
把 VLLM、SGLang 这类推理框架部署到产品上的 Infra 岗位，月薪大多停在 4 万到 5 万。
LingBot-World成为全球首个同时获得vLLM、SGLang两大主流开源推理引擎支持的世界模型。
SGLang在nightly版中加入了/v1/decisions端点，vLLM合并了/v1/systemone端点。
在SGLang和vLLM推理引擎中，分词由Rust或C++编写的高速库执行，但每次调用都要经过Python绑定层。
实测时间线为：0秒开始计费，约371秒prefill CUDA graph捕获完成（耗时287.7秒），386.7秒/health返回200，约563秒第一个请求完成（耗时约176秒），约579秒第二个请求完成，639.6秒计费停止。
在Colab单张T4上运行SGLang 0.5.21加载Qwen2.5-0.5B-Instruct fp16模型，一次完整冷启动实测中，88%的计费时间花费在第一个用户请求完成之前。
vLLM在启动时通常只对解码阶段做CUDA graph捕获，且对捕获的batch size集合有更激进的裁剪策略，因此其冷启动图捕获阶段往往比SGLang短。
SGLang日志中每个健康检查表现为GPU上一次one-token prefill，但请求计数器不动，说明健康检查在消耗算力却不产生用户价值也不体现在请求指标中。
如果在健康检查通过的时刻（386.7秒）切分账单，启动看起来占60%；但第一个用户实际拿到答案在约563秒，此时账单的88%已消耗。
还有 40 条时间轴事件
全部知识事实 (20)
SGLang的核心创新是RadixAttention技术，通过前缀树结构实现KV Cache的自动复用
85%已验证SGLang 是由 UC Berkeley 等机构研究人员开发的专为大语言模型推理设计的高性能框架
80%已验证SGLang（Structured Generation Language）是一个面向大语言模型和视觉语言模型的高性能服务框架
75%已验证SGLang 通过 RadixAttention 等创新技术实现 KV Cache 的高效复用，在处理复杂多轮对话和 Agent Loop 场景时可获得数倍吞吐量提升
75%已验证在RTX 5070（12GB显存）配置下，本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%待验证SGLang由斯坦福团队开发，专注于结构化输出和复杂推理链的高效执行
90%待验证SGLang由UC Berkeley LMSYS团队开发，于2024年初开源
85%待验证DeepGEMM是DeepSeek专为其MoE模型设计的高性能矩阵乘法库，支持bf16和fp8等低精度格式
85%待验证NIXL是SGLang用于Prefill-Decode分离部署的关键通信组件，负责在Prefill节点和Decode节点之间传输KV Cache状态
85%待验证SGLang由UC Berkeley团队主导开发，是目前与vLLM并列的两大主流开源LLM推理框架之一
85%待验证SGLang通过优化的张量传输协议和零拷贝技术降低KV Cache跨节点迁移延迟
85%待验证SGLang的RadixAttention对于共享系统提示（system prompt）的场景可带来数倍吞吐量提升
75%待验证通过在H2D前将CPU权重视图复制到连续存储，完整模型加载时间从约35分钟降至6分20秒，实现5.6倍加速
70%待验证SGLang 项目由 sgl-project 团队维护
70%待验证SGLang 的 RadixAttention 技术能够在多个请求之间自动复用 KV Cache，通过基数树结构管理共享前缀以减少重复计算
70%待验证SGLang 引入了 RadixAttention 技术，在某些基准测试中推理速度可比 vLLM 等主流推理框架提升 2-5 倍
70%待验证SGLang 的开源属性使其能够比 NVIDIA 主导的 TensorRT-LLM 更快速地集成 AMD ROCm 生态的新特性
70%待验证SGLang对MoE模型的专家并行支持比vLLM更为成熟，使其成为部署Mixtral、DeepSeek、Kimi K2.6等MoE架构模型的首选框架之一
70%待验证Docker部署vLLM/SGLang过程中会产生大量缓存，几个小时就能写入100GB以上
60%待验证在SGLang内部，使用Delta Tokenizer后聊天接口的中位TTFT在100K token时降低59%。
50%