RadixAttention

SGLang的核心创新是RadixAttention技术，通过前缀树结构实现KV Cache的自动复用

SGLang 的 RadixAttention 技术能够在多个请求之间自动复用 KV Cache，通过基数树结构管理共享前缀以减少重复计算

SGLang 通过 RadixAttention 等创新技术实现 KV Cache 的高效复用，在处理复杂多轮对话和 Agent Loop 场景时可获得数倍吞吐量提升

SGLang 是由学术界与工业界联合开发的高性能大模型推理框架，其核心机制是 RadixAttention

SGLang的RadixAttention对于共享系统提示（system prompt）的场景可带来数倍吞吐量提升

RadixAttention 引入全局共享 KV Cache 池，通过引用计数和 LRU 淘汰策略管理缓存生命周期，并在 Radix Tree 中执行最长前缀匹配

SGLang 引入了 RadixAttention 技术，在某些基准测试中推理速度可比 vLLM 等主流推理框架提升 2-5 倍

RadixAttention前缀缓存将多个请求的提示词构建成基数树，相同前缀只计算一次KV缓存，后续请求可直接复用。

SGLang通过RadixAttention对多轮对话和共享前缀做缓存复用，并配合结构化生成的前端语言，在复杂调用场景中进一步压低延迟与成本。

SGLang以RadixAttention前缀缓存和高吞吐调度著称，并提供插件与后端扩展入口。

主流前缀缓存实现包括Anthropic的Prompt Caching、OpenAI的自动缓存以及vLLM等推理框架的RadixAttention。

sglang是专为大语言模型推理优化的高性能服务框架，支持连续批处理和RadixAttention，相比Ollama在吞吐量上更有优势

RadixAttention 能够识别不同请求之间共享的前缀部分并直接复用已缓存的计算结果，在系统提示词固定、多轮对话或批量文档问答场景下减少重复计算，提升吞吐量并降低首 Token 延迟（TTFT）

SGLang的RadixAttention将prompt和生成结果的KV组织成RadixTree，公共前缀在上层，论文数据显示无前缀复用负载下额外开销低于0.3%

RadixAttention 通过基数树（Radix Tree）结构管理共享前缀以减少重复计算

在共享相同系统指令的并发请求场景中，RadixAttention 可将 prefill 阶段计算量减少 80% 以上

RadixAttention 通过基数树结构在多个请求之间自动复用 KV Cache，管理共享前缀以减少重复计算，提升推理吞吐量

在共享系统指令的并发请求场景中，RadixAttention 可将 prefill 阶段的计算量减少 80% 以上

SGLang由LMSYS开发，专注于结构化输出和复杂工作流，引入了RadixAttention机制，能自动检测并复用prompt的公共前缀

SGLang是由UC Berkeley LMSYS团队开发的高性能大模型推理和服务框架，通过RadixAttention等技术优化KV Cache的复用效率