[控场AI]
· 5 分钟阅读· 2,577 字

长上下文LLM计费新框架:缓存降本两个数量级,但折扣有边界

长上下文LLM计费新框架:缓存降本两个数量级,但折扣有边界

研究提出三层计费框架,用实测与模拟检验长上下文服务的保留上下文计费。

针对长上下文大模型服务中“重复上下文一律按 token 收费”的粗糙计费方式,该研究提出内容相关性、可观测代理、可审计位置权重三层框架,将计费权重与答案质量贡献解耦。上下文消融实验显示,内容相关性对答案质量的支配作用强于位置,距离衰减模型未能跑赢仅考虑相关性的基线。真实服务栈实测表明,在 65,536 token 下缓存命中可将重复前缀计算成本降低两个数量级以上,但冷重发会限制可持续折扣空间。校准模拟中,相关性加权方案将 99 分位会话账单降低 31-42%,但收入中性的非线性资费也能达到相近降幅且中位账单上升。作者将成果定位为有边界的每 token 记账规则与部署约束,而非已验证的效用估计器。

长上下文大模型服务正在成为主流,但计费方式却一直粗糙:无论上下文是否真正影响回答质量,重复传入的上下文都按 token 收费。一篇题为《Measuring and Charging for Retained Context in Long-Context LLM Services》的研究,试图拆解这个问题,并给出了一个可审计的三层计费框架。

长上下文LLM服务计费研究

三层框架:把内容相关性、可观测代理与位置权重分开

研究的核心主张是,计费权重不应等同于上下文对答案质量的贡献,但也不能完全脱离它。为此作者提出一个三层结构:

  • 内容相关性层:衡量某段上下文与当前问题的语义关联程度;
  • 可观测代理层:用服务端能实际采集的信号(如缓存命中、位置距离)作为计费依据;
  • 可审计位置权重层:对位置因素赋予可解释、可复核的权重,而非黑箱调整。

这种分层的好处是把"该收多少"和"能测到什么"解耦。服务商不必声称自己精确估计了每段上下文的价值,只需给出一个有边界的、可验证的每 token 记账规则。

上下文消融实验(context-ablation) 是一种通过系统性移除或替换输入中的部分上下文,来观察模型输出质量变化的实验方法。在这项研究中,作者用消融来检验不同计费假设:例如把某段上下文从输入中删去后,观察答案质量下降多少,从而反推该段上下文对答案的实际贡献。这种方法的好处是把“上下文是否重要”变成一个可测量的因果问题,而不是依赖先验假设。但它也有局限——消融只能近似评估单段上下文的价值,难以捕捉多段上下文之间的交互效应,且实验成本随上下文长度增长而上升。

可审计(auditable) 在计费语境下,指的是每一条计费规则都能被服务商和客户双方复核与解释,而非依赖不可见的黑箱模型。可审计的权重规则通常要求:规则形式简单、参数公开可查、对同一输入能复现同样的计费结果。这与“精确估计每段上下文价值”是两回事——可审计只保证规则透明可验证,不保证规则本身最优。研究强调位置权重层要做到可审计,正是为了在无法完美观测内容相关性的前提下,至少让计费过程经得起质询。

相关性压过位置:距离衰减模型没有跑赢基线

研究通过上下文消融实验(context-ablation)检验了不同计费假设。结果有两个关键发现:

第一,内容相关性对答案质量的支配作用强于位置。靠近末尾的上下文并不必然更重要。

第二,距离衰减(distance-decay)这一类权重模型,并没有跑赢仅考虑相关性的基线。换句话说,按"离问题越远越不值钱"来打折,在实测中缺乏足够支撑。这对当前一些按位置分段定价的思路构成了直接质疑。

实测服务栈:缓存命中把重复前缀成本压低两个数量级以上

在真实服务栈上,研究测量了缓存对重复前缀计算成本的影响。在 65,536 token 的上下文长度下,缓存命中将重复前缀的计算成本降低了两个数量级以上。这为"保留上下文应当享受折扣"提供了物理层面的依据——重复内容确实没有产生同等的边际计算。

但作者同时指出约束条件:冷重发(cold resend)会限制可持续折扣的空间。一旦缓存未命中、上下文需要重新完整计算,折扣就难以为继。因此折扣不能作为无条件承诺,而应绑定缓存状态。

跨服务商测量进一步把缓存带来的价值,与分词差异、标价差异区分开来——三者混在一起时,很容易把价格差误读为缓存效率差。

前缀缓存(prefix caching) 是长上下文服务中的一项关键优化:当多个请求共享相同的开头部分(例如同一段系统提示、同一份文档或同一轮对话历史)时,服务端可以把这部分内容的键值缓存(KV cache)保留下来,后续请求直接复用,而不必重新做一遍前向计算。由于 Transformer 的注意力计算量随上下文长度增长,重复前缀的缓存命中能显著减少算力消耗。研究中“两个数量级以上”的成本降幅,正来自这部分被省去的重复计算。

冷重发(cold resend) 则指缓存未命中时,客户端不得不把完整上下文重新发送并触发全量计算的情形。缓存通常有生存时间(TTL)、容量上限和会话隔离等约束,一旦过期或被驱逐,折扣的物理基础就不复存在。因此把折扣绑定缓存状态,本质上是让计费反映真实的边际计算成本,而非对“重复内容”作无条件让利。

校准模拟:99 分位账单降 31-42%,但中位数上升

研究用校准后的模拟评估了计费方案调整的效果。按相关性加权的方案,将会话账单的 99 分位降低了 31-42%。这对尾部高额账单有明显抑制作用。

不过作者诚实地呈现了另一面:收入中性的非线性资费也能达到相近的降幅,同时中位账单反而上升。也就是说,尾部降费未必来自更精准的计量,而可能只是资费结构的再分配。这一点对把"计费更公平"当作卖点的服务商是重要提醒。

分位指标(percentile) 与平均值的区别在这里很关键。会话账单往往呈长尾分布:少数超长、高重复的会话贡献了不成比例的费用。99 分位衡量的是“最贵的 1% 会话”的账单水平,降低 99 分位意味着抑制尾部极端账单,但完全可能同时抬高大量普通会话的中位账单。研究中“收入中性”指资费调整后服务商总收入大致不变,因此尾部降费的钱需要从中部或头部其他会话补回。这提醒评估计费公平性时,单看某一个分位或平均值都可能得出片面结论,应结合中位数、分位差和收入中性约束一起看。

定位:有边界的记账规则,而非已验证的效用估计器

论文对自身贡献的边界说得很清楚:它提供的是一套有界的每 token 记账规则和实测的部署约束,而不是一个经过验证的效用估计器。内容相关性难以被完美观测,位置权重只能做到可审计而非精确。

对长上下文服务的设计者而言,这个框架的实际价值在于三点:把折扣与缓存命中绑定、对位置权重保持克制、以及用分位指标而非平均值来评估计费公平性。

(本文基于 arXiv 论文摘要整理,未引入原文之外的数据。)

#长上下文LLM#LLM服务计费#上下文缓存#token计费#距离衰减#上下文相关性#推理成本优化
分享:

相关推荐