概念Cache-Aware Routing

缓存感知路由

LLM推理服务中的路由策略，优先将请求发送到缓存中已存在相同前缀的副本，以复用KV缓存降低预填充计算量，代价是可能增加排队等待时间

时间轴 (近 90 天)

10月21日

llm-d 1.0 引入了缓存感知路由（cache-aware routing）能力，将缓存状态纳入路由决策，把请求导向已持有相关上下文的后端实例。

待验证50%

10月12日

缓存感知路由优先把请求发给缓存中已存在相同前缀的副本，命中缓存时预填充几乎为零，首token延迟大幅下降。

待验证50%

llm-d 1.0 引入了缓存感知路由（cache-aware routing）能力，将缓存状态纳入路由决策，把请求导向已持有相关上下文的后端实例。

缓存感知路由优先把请求发给缓存中已存在相同前缀的副本，命中缓存时预填充几乎为零，首token延迟大幅下降。