概念session affinity
会话亲和性
一种路由策略,将同一会话的连续请求固定发送到同一服务商,以最大化利用提示词缓存,降低多轮对话的成本与延迟。
时间轴 (近 90 天)
10月17日
会话亲和性(session affinity)的核心逻辑是将每一轮请求发送给服务上一轮的那家 provider,以便利用该 provider 的缓存。
待验证50%
10月17日
会话亲和性在文本和聊天请求上默认生效,不需要额外配置。
待验证50%
10月17日
会话亲和性把会话绑定在单一 provider 上,当该 provider 出现波动时,会话的连续性可能受到影响。
待验证50%
10月17日
编程代理(如 Claude Code、Codex、Cursor)是典型的多轮、长上下文场景,会话亲和性带来的缓存复用收益在该场景下最为明显。
待验证50%
10月14日
arXiv 论文 Vesta 提出将‘会话级 KV 缓存归属’与‘请求级执行放置’解耦,用排队论在缓存局部性和队列拥塞之间做权衡。
待验证50%
全部知识事实 (5)
待验证
会话亲和性(session affinity)的核心逻辑是将每一轮请求发送给服务上一轮的那家 provider,以便利用该 provider 的缓存。
50%待验证会话亲和性在文本和聊天请求上默认生效,不需要额外配置。
50%待验证会话亲和性把会话绑定在单一 provider 上,当该 provider 出现波动时,会话的连续性可能受到影响。
50%待验证编程代理(如 Claude Code、Codex、Cursor)是典型的多轮、长上下文场景,会话亲和性带来的缓存复用收益在该场景下最为明显。
50%待验证arXiv 论文 Vesta 提出将‘会话级 KV 缓存归属’与‘请求级执行放置’解耦,用排队论在缓存局部性和队列拥塞之间做权衡。
50%