产品
KVMem
一种KV缓存卸载工具，将Transformer推理时的KV缓存从GPU显存卸载到系统内存，以释放显存空间支持更大模型运行
时间轴 (近 90 天)
10月10日
将Ninfer推理引擎、Bonsai压缩模型和KVMem显存卸载三者结合后，解码峰值达到748 token/s，预填充最高达到3.8K token/s
待验证50%
10月10日
单看每个组件的性能收益大约只有10%-15%，但三者组合后产生了明显的协同效应（非线性加速）
待验证50%
10月10日
KVMem的作用是把KV缓存池从显存卸载到系统内存，从而腾出显存
待验证50%
10月10日
KVMem与Ninfer原本在编码和缓存处理上存在冲突、互不兼容，新版本打通了兼容性
待验证50%
10月10日
此前用llama.cpp配合KVMem起普通模型大约能到一百多token/s
待验证50%