概念llama.cpp Adaptive KV Streaming
Adaptive KV Streaming
llama.cpp中的一种KV缓存管理技术，通过推理程序主动调度数据搬运、使用循环缓冲区预取，实现传输与计算重叠，支持在小显存设备上运行长上下文推理
时间轴 (近 90 天)
9月16日
llama.cpp Adaptive KV Streaming将数据搬运从系统自动接管改为由推理程序主动安排，完整KV保存在内存，显存只留一部分常驻并用循环缓冲区提前搬入后续层需要的KV
待验证50%
9月16日
Adaptive KV Streaming保留完整历史而不靠阶段性截断上下文来省空间，代价是占用大量系统内存且速度受内存到显卡传输带宽限制
待验证50%
9月16日
该方案让16G显存显卡可以运行27B级别模型加192K上下文加视觉能力，但速度上限受硬件带宽约束
待验证50%