Person
Raymond Fwine
AI/ML领域研究者，专注于消费级显卡上的大语言模型推理优化，提出了llama.cpp Adaptive KV Streaming方案
Timeline (last 90 days)
Sep 16
llama.cpp Adaptive KV Streaming将数据搬运从系统自动接管改为由推理程序主动安排，完整KV保存在内存，显存只留一部分常驻并用循环缓冲区提前搬入后续层需要的KV
Unverified50%
AI/ML领域研究者，专注于消费级显卡上的大语言模型推理优化，提出了llama.cpp Adaptive KV Streaming方案
llama.cpp Adaptive KV Streaming将数据搬运从系统自动接管改为由推理程序主动安排，完整KV保存在内存，显存只留一部分常驻并用循环缓冲区提前搬入后续层需要的KV