待验证50% 置信事实精确时间
在分离式推理中预填充节点生成的KV缓存必须实时传递给解码节点，对于长上下文或大批量请求单次传输可能高达数GB
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证对于长上下文请求，KV cache 的数据量可达数 GB72% 相似已验证硬盘缓存机制将已计算的KV Cache持久化到存储介质中，当后续请求前缀与缓存命中时可直接复用，跳过重复的前向传播71% 相似待验证分离式推理将计算密集的预填充阶段与内存带宽密集的解码阶段解耦，分配到各自最适合的硬件资源池独立扩缩容71% 相似待验证自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力71% 相似待验证llama.cpp Adaptive KV Streaming将数据搬运从系统自动接管改为由推理程序主动安排，完整KV保存在内存，显存只留一部分常驻并用循环缓冲区提前搬入后续层需要的KV70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/995755API
curl https://kongchang.com/api/v1/knowledge/claims/995755MCP
get_claim(id=995755)