AI Gateway日志新增会话视图：会话亲和性如何降低AI编程成本

AI Gateway 的日志系统最近上线了 Sessions（会话）视图，把分散的请求按会话聚合，并直观展示会话亲和性（session affinity）如何为每一次请求选择服务商。对于大量使用 Claude Code、Codex、Cursor 等编程代理的团队来说，这个视图直接回答了此前难以追踪的问题：钱花在了哪里、缓存命中了多少、请求为什么被路由到某个 provider。

会话视图解决什么问题

过去的日志以单次请求为单位，开发者能看到每个请求的模型、耗时和费用，却很难还原一段连续对话的完整成本结构。会话视图把同一会话内的所有请求（turn）串起来，每一行展示运行该会话的编程代理或应用、累计成本、涉及的模型与服务商，以及输入中有多少来自缓存。

这个聚合视角的价值在于，多轮对话的成本大头往往不是输出 token，而是每一轮重复携带的上下文。当这些上下文能从缓存读取时，费用和延迟都会显著下降；反之，费用会在不知不觉中累积。会话视图让这种差异第一次变得可量化、可对比。

会话亲和性：把连续请求钉在同一服务商

会话亲和性的核心逻辑很简单：把每一轮请求发送给服务上一轮的那家 provider，这样对方缓存里已经存有绝大部分 prompt，后续轮次可以直接从缓存读取。原文的说法是，一个始终停留在同一 provider 上的会话，能从缓存中读取每一轮 prompt 的更多部分。

这解释了为什么有些会话的成本远低于预期，而另一些看似相同的会话却贵得多——差异可能仅仅来自路由是否稳定。会话视图中的缓存命中率、会话 ID、成本等字段，正是用来定位这类问题的。打开单个会话，还能看到持续时间、完整的轮次路径（每轮的模型与耗时），以及当前服务的 provider 和此前服务过的 provider 列表。

提示词缓存（Prompt Caching） 是理解会话亲和性收益的前提。主流大模型服务商（如 Anthropic、OpenAI）均支持在服务端缓存请求前缀：当后续请求的开头部分与已缓存内容完全一致时，这部分 token 按大幅折扣计费，且无需重新计算，从而同时降低费用与首 token 延迟。缓存通常有较短的生命周期（分钟级），并以服务商、模型、内容前缀为键。因此，缓存的命中高度依赖于请求被路由到同一家 provider——一旦切换服务商，新 provider 的缓存中没有此前的前缀，整段上下文需按全价重新处理。这正是会话亲和性要解决的问题：通过稳定路由，让多轮对话中重复携带的上下文持续命中缓存。

默认开启与两种分组方式

会话亲和性在文本和聊天请求上默认生效，不需要额外配置。如果希望自行控制分组边界，有两种方式：在每次请求的 providerOptions.gateway 中传入相同的 sessionId，或在请求头中带上相同的 x-session-id。

没有携带标识的请求，会按对话开头内容的指纹进行归组，并以 fingerprinted sessions 的形式出现在日志里。这也意味着，如果一个应用没有显式传递会话标识，其请求分组依赖内容指纹的稳定性，跨会话的边界可能与预期不完全一致。

会话标识（sessionId / x-session-id） 的作用是显式告诉网关哪些请求属于同一会话，从而决定亲和性路由的分组边界。由于网关本身无法可靠判断两次独立 HTTP 请求是否属于同一段对话，默认情况下它只能依据对话开头内容的指纹进行启发式归组；而应用层通常更清楚会话的真实边界（例如一个 Claude Code 进程、一个聊天窗口或一次 agent 运行）。显式传入标识可以避免不同用户或不同任务因开头内容相似而被错误合并，也能保证同一会话在内容变化后仍被稳定归组。实践中建议在客户端初始化时生成一个 UUID 并在整个会话生命周期内复用。

筛选与排查能力

会话视图支持按轮次数、客户端、模型、服务商、认证方式和成本进行筛选。单轮会话默认被隐藏，需要清除最小轮次过滤器后才会显示——这个默认设置相当务实，因为单轮请求本身没有亲和性可言，混杂在列表中只会稀释多轮会话的信号。

对于排查成本异常的团队，比较实用的路径是：先按成本排序找到高开销会话，再打开查看缓存命中率与轮次路径，判断是否存在频繁切换 provider 导致的缓存失效。如果发现某个客户端或模型的会话亲和性表现不佳，可以进一步检查请求是否携带了稳定的会话标识。

fingerprinted sessions（指纹会话） 指未携带显式会话标识时，网关以对话开头内容的哈希值作为分组依据形成的会话记录。其局限在于：内容指纹对开头措辞高度敏感，系统提示词的微小变化、时间戳或随机数的插入都会导致指纹改变，使本应连续的会话被拆分成多个；反之，开头相同但实际无关的请求（如相同的模板化第一条消息）可能被错误合并。因此指纹会话只能作为兜底手段，适合快速观察，不宜作为成本归因的精确依据。若日志中出现大量轮次为 1 的指纹会话，通常说明客户端没有传递稳定的会话标识。

对 AI 编程工作流的实际意义

编程代理是典型的多轮、长上下文场景，会话亲和性带来的缓存复用收益在这个场景下最为明显。会话视图把这种收益显性化，让团队在模型选择、provider 配置和客户端接入方式上的决策有了数据依据，而不是停留在凭感觉优化成本的阶段。

需要留意的是，亲和性并非没有代价：它把会话绑定在单一 provider 上，当该 provider 出现波动时，会话的连续性可能受到影响。原文没有讨论故障转移场景下的行为，这部分仍需开发者结合自身容错策略评估。