Hybrid HiSparse
vLLM社区提出的长上下文推理优化方案，基于稀疏MLA（Sparse Multi-head Latent Attention）与分级内存调度，将冷KV Cache页面下放至主机内存，在不增加硬件的情况下大幅提升并发能力
时间轴 (近 90 天)
vLLM 社区推出 Hybrid HiSparse 方案，建立在稀疏 MLA 基础之上，使请求在 KV Cache 无法完全驻留于 HBM 后仍能持续解码而不被强制中断
HiSparse 结合稀疏索引，只保留真正被查询到的 KV 部分，与传统全量下放的 KV offloading 有本质区别
该方案在 GLM 5.3 模型、单个 8×H200 节点、完整 100 万上下文的配置下进行了验证
在相同主机内存、并发配置为 32 条件下，传统 KV offloading 仅能维持 5-6 个请求，而 Hybrid HiSparse 能同时保持 19-25 个请求，有效并发能力提升约 3 到 4 倍
Hybrid HiSparse 的热页面来自同一内存池的普通 KV 块，由 Hybrid Memory Allocator 统一管理
Hybrid HiSparse 通过单个融合内核一次性解析驻留、热和缺失三类数据行，且该内核是 CUDA-graph capturable 的
Hybrid HiSparse 与 vLLM 的前缀缓存、OffloadingConnector、P/D 分离导入以及 MTP 等现有功能保持兼容
Hybrid HiSparse 计划在 vLLM v0.30 版本中正式发布
全部知识事实 (7)
vLLM 社区推出 Hybrid HiSparse 方案，建立在稀疏 MLA 基础之上，使请求在 KV Cache 无法完全驻留于 HBM 后仍能持续解码而不被强制中断
50%待验证HiSparse 结合稀疏索引，只保留真正被查询到的 KV 部分，与传统全量下放的 KV offloading 有本质区别
50%待验证该方案在 GLM 5.3 模型、单个 8×H200 节点、完整 100 万上下文的配置下进行了验证
50%待验证在相同主机内存、并发配置为 32 条件下，传统 KV offloading 仅能维持 5-6 个请求，而 Hybrid HiSparse 能同时保持 19-25 个请求，有效并发能力提升约 3 到 4 倍
50%待验证Hybrid HiSparse 的热页面来自同一内存池的普通 KV 块，由 Hybrid Memory Allocator 统一管理
50%待验证Hybrid HiSparse 通过单个融合内核一次性解析驻留、热和缺失三类数据行，且该内核是 CUDA-graph capturable 的
50%待验证Hybrid HiSparse 与 vLLM 的前缀缓存、OffloadingConnector、P/D 分离导入以及 MTP 等现有功能保持兼容
50%