NVMe
一种高速固态存储接口协议，提供低延迟高吞吐的数据访问，常用于本地高速盘和训练数据缓存
时间轴 (近 90 天)
修复非计算开销（配置持久化存储、数据迁移到本地 NVMe、缓存基础模型与分词器、提高 num_workers）后，单次运行时间从 9.5 小时降至 2 小时 40 分，相比 RTX 4070 的 11 小时接近 4 倍加速。
存储行业在NVMe固态盘响应快到微秒级后，采用轮询替代中断，让CPU主动频繁查看完成队列，牺牲空闲时能效换取低延迟下的确定性与吞吐。
开源工具galahad-kv将每个约1.6万token块的KV状态保存到加密的本地NVMe磁盘，之后按字节精确地重新加载，完全跳过重新计算
写入记忆是一次性成本，首次处理文本仍需完整计算KV状态；5000万token的KV状态会占用数TB的本地NVMe磁盘空间
对于NVMe SSD，smartctl输出中的Data Units Written字段每个单元对应1000个512字节扇区，即约512 KB
NVMe是专为闪存存储设计的通信协议，通过PCIe总线直接与CPU通信，延迟可低至微秒级
TRIM是ATA指令集中的命令，在NVMe协议中对应Deallocate，让操作系统主动告知SSD哪些逻辑块已不再使用，以便控制器进行垃圾回收
现代存储金字塔中GPU显存(HBM)带宽可达数TB/s但消费级容量通常8-24GB，CPU内存(DDR5)带宽约50-100GB/s，NVMe固态硬盘带宽约5-14GB/s
全部知识事实 (8)
修复非计算开销（配置持久化存储、数据迁移到本地 NVMe、缓存基础模型与分词器、提高 num_workers）后，单次运行时间从 9.5 小时降至 2 小时 40 分，相比 RTX 4070 的 11 小时接近 4 倍加速。
50%待验证存储行业在NVMe固态盘响应快到微秒级后，采用轮询替代中断，让CPU主动频繁查看完成队列，牺牲空闲时能效换取低延迟下的确定性与吞吐。
50%待验证开源工具galahad-kv将每个约1.6万token块的KV状态保存到加密的本地NVMe磁盘，之后按字节精确地重新加载，完全跳过重新计算
50%待验证写入记忆是一次性成本，首次处理文本仍需完整计算KV状态；5000万token的KV状态会占用数TB的本地NVMe磁盘空间
50%待验证对于NVMe SSD，smartctl输出中的Data Units Written字段每个单元对应1000个512字节扇区，即约512 KB
50%待验证NVMe是专为闪存存储设计的通信协议，通过PCIe总线直接与CPU通信，延迟可低至微秒级
50%待验证TRIM是ATA指令集中的命令，在NVMe协议中对应Deallocate，让操作系统主动告知SSD哪些逻辑块已不再使用，以便控制器进行垃圾回收
50%待验证现代存储金字塔中GPU显存(HBM)带宽可达数TB/s但消费级容量通常8-24GB，CPU内存(DDR5)带宽约50-100GB/s，NVMe固态硬盘带宽约5-14GB/s
50%