HiSparse
一种针对大语言模型长上下文推理的KV缓存卸载优化技术，通过将冷数据卸载至主机内存、显存只保留热数据，实现超长上下文推理的先行实现方案
时间轴 (近 90 天)
vLLM GitHub 仓库中编号为 #60285 的提交被合并进 v0.32.0rc0 标签，标题为「[HiSparse] Report host pool in KV cache capacity logs」。
HiSparse 是本次提交所属的特性模块。
v0.30.0 引入 HiSparse，在稀疏 MLA 解码之下增加了一层主机层（host tier）构成分层缓存结构
HiSparse 在 GPU 显存吃紧时仅将命中 top-k 的缺失数据回填到每个请求的热缓冲区，而非无差别占用显存
该项目把类似HiSparse的KV卸载思路移植到QSA（Qwen3-Next使用的稀疏注意力结构），让完整历史留在主机内存，显存只保留热数据
QSA中12个吸收层各自独立维护自己的选择策略，与普通多层Transformer共享同一套KV索引的假设不兼容，因此HiSparse基于跨层共享索引的预取逻辑无法直接复用
全部知识事实 (6)
HiSparse 是本次提交所属的特性模块。
50%待验证v0.30.0 引入 HiSparse，在稀疏 MLA 解码之下增加了一层主机层（host tier）构成分层缓存结构
50%待验证HiSparse 在 GPU 显存吃紧时仅将命中 top-k 的缺失数据回填到每个请求的热缓冲区，而非无差别占用显存
50%待验证该项目把类似HiSparse的KV卸载思路移植到QSA（Qwen3-Next使用的稀疏注意力结构），让完整历史留在主机内存，显存只保留热数据
50%待验证QSA中12个吸收层各自独立维护自己的选择策略，与普通多层Transformer共享同一套KV索引的假设不兼容，因此HiSparse基于跨层共享索引的预取逻辑无法直接复用
50%待验证vLLM GitHub 仓库中编号为 #60285 的提交被合并进 v0.32.0rc0 标签，标题为「[HiSparse] Report host pool in KV cache capacity logs」。
50%