人物
Raymond Fwine
AI/ML领域研究者，专注于消费级显卡上的大语言模型推理优化，提出了llama.cpp Adaptive KV Streaming方案
时间轴 (近 90 天)
9月16日
llama.cpp Adaptive KV Streaming将数据搬运从系统自动接管改为由推理程序主动安排，完整KV保存在内存，显存只留一部分常驻并用循环缓冲区提前搬入后续层需要的KV
待验证50%
AI/ML领域研究者，专注于消费级显卡上的大语言模型推理优化，提出了llama.cpp Adaptive KV Streaming方案
llama.cpp Adaptive KV Streaming将数据搬运从系统自动接管改为由推理程序主动安排，完整KV保存在内存，显存只留一部分常驻并用循环缓冲区提前搬入后续层需要的KV