galahad-kv
开源KV状态持久化工具，将Transformer推理过程中的KV Cache保存至加密本地NVMe磁盘，支持按字节精确重新加载，避免重复计算，显著提升长上下文推理速度并降低GPU能耗
时间轴 (近 90 天)
开源工具galahad-kv将每个约1.6万token块的KV状态保存到加密的本地NVMe磁盘，之后按字节精确地重新加载，完全跳过重新计算
在0到5000万token的各个深度上，研究者探测的每个块都成功从加密存储中加载回来，100次探测100次命中，两个模型皆是如此
加载一个块比重新计算它快2.8到4.3倍，GPU能耗减少8.8到12.3倍
在整个5000万token的流处理过程中，GPU显存占用始终保持平稳，因为任意时刻只需加载一个块到显存
galahad-kv是对存储状态的复用而非更宽的注意力窗口，系统一次只加载一个块，并没有让模型同时看到5000万token
写入记忆是一次性成本，首次处理文本仍需完整计算KV状态；5000万token的KV状态会占用数TB的本地NVMe磁盘空间
galahad-kv方法接近RAG思路，差异在于RAG检索原始文本片段并重新编码，而本方法直接复用已编码的KV状态，但跨块的直接注意力交互不存在
研究提供单GPU的可复现方案，使用公开软件，且galahad-kv包采用免费许可
该研究的测试协议被设计为能够抵抗常见的长上下文基准刷分手段，如将关键信息放序列首尾、使用训练集文档、设计过于简单的问题
全部知识事实 (9)
开源工具galahad-kv将每个约1.6万token块的KV状态保存到加密的本地NVMe磁盘，之后按字节精确地重新加载，完全跳过重新计算
50%待验证在0到5000万token的各个深度上，研究者探测的每个块都成功从加密存储中加载回来，100次探测100次命中，两个模型皆是如此
50%待验证加载一个块比重新计算它快2.8到4.3倍，GPU能耗减少8.8到12.3倍
50%待验证在整个5000万token的流处理过程中，GPU显存占用始终保持平稳，因为任意时刻只需加载一个块到显存
50%待验证galahad-kv是对存储状态的复用而非更宽的注意力窗口，系统一次只加载一个块，并没有让模型同时看到5000万token
50%待验证写入记忆是一次性成本，首次处理文本仍需完整计算KV状态；5000万token的KV状态会占用数TB的本地NVMe磁盘空间
50%待验证galahad-kv方法接近RAG思路，差异在于RAG检索原始文本片段并重新编码，而本方法直接复用已编码的KV状态，但跨块的直接注意力交互不存在
50%待验证研究提供单GPU的可复现方案，使用公开软件，且galahad-kv包采用免费许可
50%待验证该研究的测试协议被设计为能够抵抗常见的长上下文基准刷分手段，如将关键信息放序列首尾、使用训练集文档、设计过于简单的问题
50%