[控场AI]
概念session affinity

会话亲和性

一种路由策略,将同一会话的连续请求固定发送到同一服务商,以最大化利用提示词缓存,降低多轮对话的成本与延迟。

时间轴 (近 90 天)

10月17日

会话亲和性(session affinity)的核心逻辑是将每一轮请求发送给服务上一轮的那家 provider,以便利用该 provider 的缓存。

待验证50%
10月17日

会话亲和性在文本和聊天请求上默认生效,不需要额外配置。

待验证50%
10月17日

会话亲和性把会话绑定在单一 provider 上,当该 provider 出现波动时,会话的连续性可能受到影响。

待验证50%
10月17日

编程代理(如 Claude Code、Codex、Cursor)是典型的多轮、长上下文场景,会话亲和性带来的缓存复用收益在该场景下最为明显。

待验证50%
10月14日

arXiv 论文 Vesta 提出将‘会话级 KV 缓存归属’与‘请求级执行放置’解耦,用排队论在缓存局部性和队列拥塞之间做权衡。

待验证50%

全部知识事实 (5)

来源文章