概念KV-aware routing / KV缓存感知路由
KV感知路由
一种LLM推理请求路由策略，将请求导向已缓存相关上下文的节点，从而在多轮AI工作流中维持较高的KV缓存复用率，减少重复prefill带来的算力浪费，是分离式Prefill/Decode架构的关键配套组件。
时间轴 (近 90 天)
10月14日
KV感知路由通过判断哪些worker已缓存相关KV块，将请求定向到缓存命中率更高的节点，从而减少预填充阶段的计算量。
待验证50%
10月12日
常规 KV 缓存是单请求内的优化，同一轮对话里历史消息生成的 KV 不需要重复计算，只增量计算新输入的内容。
待验证50%