RAG服务成本拆解：Token、检索与可观测性定价全解析

构建一个RAG（检索增强生成）服务时，大多数人会把注意力放在模型选型上，但真正决定账单的往往是那些容易被忽略的环节。一份详细的成本模型拆解了从Token到向量数据库、再到大模型可观测性工具的每一笔开销，结果可能会颠覆你的直觉。

据该分析，一个典型的RAG查询——2000 token提示词、2500 token检索上下文、400 token输出——在中等模型上的使用成本约为0.013美元。加上检索、重排序和可观测性之后，生产规模下每1000次查询约13美元。

LLM Token：吃掉大部分预算的隐形大户

成本模型将RAG服务的月成本拆解为三大类：按查询计费的使用成本（LLM+查询嵌入+向量读取+重排序+可观测性）、固定平台费用（套餐最低消费、席位、存储），以及语料库维护和人力成本。

单个查询的Token预算构成是：1500 token系统提示词（可缓存享受折扣）、约500 token用户消息与对话历史、2500 token检索上下文（5个500 token的块），以及400 token输出，合计每次请求4900 token。检索上下文是最大的输入来源，每多塞一个块，每次查询都要为之付费。

按中等模型（如Claude Sonnet 5.5、gpt-6.1-sol）定价计算：输入2美元/百万token、输出10美元/百万token、缓存输入0.1美元/百万token，开启提示词缓存后单次查询约0.01033美元，未开启则为0.0130美元——缓存节省约20%。

各档位之间的价差才是预算中最大的变量。同一查询在小模型上仅需0.00052美元，中等模型0.01033美元，Claude Opus 5.5为0.02066美元，gpt-6-astra则高达0.05236美元。没有任何查询本身发生变化——变的只是模型。小型与大型档位之间100倍的价差，是RAG预算中最关键的单一决策。

提示词缓存（Prompt Caching） 是主流大模型厂商提供的一种成本优化机制：当请求的前缀部分（通常是系统提示词、固定指令或长文档）与之前的请求完全一致时，服务端会复用已缓存的键值（KV）状态，不再重新计算这些 token 的注意力，从而按远低于标准输入的价格计费——文中给出的缓存输入价格（0.1 美元/百万 token）仅为标准输入（2 美元/百万 token）的二十分之一。

但缓存生效有前提：前缀必须逐字节匹配，且缓存通常有存活时间（如 5 分钟到 1 小时），超时后需重新写入。这正是 RAG 场景下缓存收益不如长提示词聊天机器人的原因——检索上下文每次查询都在变，如果把它放在提示词靠前位置，会破坏后续内容的缓存命中；因此工程上通常把静态的系统提示词放在最前面以享受缓存，把动态检索到的文档块放在后面。

检索成本：向量搜索便宜，重排序才是意外

嵌入成本几乎可以忽略。OpenAI text-embedding-3-small定价0.02美元/百万token，5亿token的初始语料库一次性花费10美元，月度刷新仅1美元，每次查询的嵌入成本是0.000001美元。真正贵的不是嵌入本身，而是分块策略调整和模型更换时的重索引工程时间。

以Pinecone serverless为例，100万条向量（1536维）约7.14GB索引，每次查询消耗约7.14个读取单元，每次查询读取成本约0.000114美元，存储约2.36美元/月，标准套餐最低消费50美元/月。在1万和10万次查询/月时，你付的都是50美元的最低消费；即便到100万次查询，向量数据库也只花约120美元/月。

重排序是被最多人遗忘的开销项。交叉编码器重排序器从50个候选中精选5个，Cohere Rerank 4 Fast定价2美元/1000次搜索，每次查询0.002美元。10万次查询/月就是200美元，100万次时飙升至2000美元——约占使用成本的15%，比向量数据库高出一个数量级。

重排序（Reranking） 是 RAG 检索流水线中的第二阶段精排环节。第一阶段的向量检索（也叫召回）为了不漏掉相关文档，通常用双编码器（Bi-Encoder） 快速从百万级向量中取出 50 个左右候选——它把查询和文档分别独立编码成向量再算余弦相似度，速度快但精度有限，因为查询和文档之间没有交互。

重排序则使用交叉编码器（Cross-Encoder）：把查询和每个候选文档拼在一起送入模型，让两者在注意力层充分交互，输出一个更精确的相关性分数，再从 50 个里精选 5 个送给大模型。精度显著提升，代价是无法预先建索引——每个候选都要跑一次完整前向推理，因此只能用于小候选集，且按「搜索次数」计费。这就是它单价看似不贵、规模一大却成为账单第三大项的原因。

可观测性：按单元计费 vs 按追踪计费

没有追踪检索质量、延迟和Token消耗，RAG服务就无法在生产环境中运行。两种主流托管方案的定价逻辑截然不同。

Langfuse Cloud按单元计费，每条追踪、观测和评分都算一个单元，Core套餐29美元/月包含10万单元，超出部分8美元/10万单元。LangSmith则按席位和追踪计费，Plus套餐39美元/席位/月，包含1万条基础追踪，超出部分约2.50美元/1000条。

实际效果差异很大：在1万次查询/月时，假设每次查询产生8个单元，Langfuse的费用仅为29美元套餐费，而LangSmith三个席位就要117美元。到100万次查询时，Langfuse约661美元，LangSmith约2592美元。差距随流量增长而持续拉大。

可观测性可以悄悄吃掉使用成本的5%到20%。常见的控制手段是对生产流量采样追踪10%到20%，同时100%记录Token数据。

LLM 可观测性（LLM Observability） 是专门针对大模型应用的监控与追踪体系。传统 APM 只能看到一次 HTTP 请求的耗时和状态码，而 RAG 的一次用户查询在内部会展开成一棵调用树：查询改写 → 嵌入 → 向量检索 → 重排序 → 提示词组装 → 大模型生成，每一步都需要记录输入输出、耗时和 token 消耗。

行业里用 Trace（追踪） 表示一次完整的端到端请求，用 Span / Observation（观测） 表示树中的单个步骤，用 Score（评分） 记录人工或模型给出的质量评价。文中「每次查询产生 8 个单元」正是指这棵树大约有 8 个被计费的节点。不同厂商的计量口径差异正是费用差距的来源：Langfuse 对每个单元都计费，而 LangSmith 按席位收取固定费用并只对超出额度的基础追踪计费——所以低流量时按席位计费更贵，高流量时按单元计费更贵。

三个规模场景的真实账单

基于中等模型（开启提示词缓存）和Langfuse可观测性，三个场景的线级拆解如下：

1万次查询/月：LLM Token 103.30美元，重排序20美元，可观测性29美元，向量数据库50美元（套餐最低消费），查询嵌入0.01美元，语料库刷新1美元，总计203.31美元。向量数据库占了账单的四分之一——纯粹因为最低消费。加上15%缓冲后为233.81美元。

10万次查询/月：LLM Token 1033美元，重排序200美元，可观测性85美元，向量数据库仍为50美元，总计1369.10美元，即每1000次查询13.69美元。

100万次查询/月：LLM Token 10330美元，重排序2000美元，可观测性661美元，向量数据库终于超过最低消费达到119.52美元，总计13112.52美元。LLM Token占了近五分之四，重排序占了大部分剩余，嵌入和存储几乎可以忽略。

模型选择对账单的影响同样显著。在100万次查询/月的前提下，小模型总成本约3300美元，中等模型约13100美元，Claude Opus 5.5约23400美元，gpt-6-astra约55100美元——从最便宜到最贵档位，账单相差约17倍。每1000次查询的成本随规模下降，仅仅是因为固定费用被摊薄了；超过约10万次查询后，账单几乎完全变成可变成本。

低流量下比Token更贵的东西：人

一个生产级RAG服务需要持续投入：评估集维护、分块和提示词调整、模型更新时的回归测试、成本监控和事故响应。按0.5个全职AI工程师、每周约20小时计算，人力成本因地区差异巨大。

美国本土按完全加载成本约150美元/小时计算，月成本约11250美元；中东欧外包约80.50美元/小时，约6440美元；拉美约77.63美元/小时，约6210美元；亚洲约41.40美元/小时，约3312美元。

在1万次查询/月时，使用成本约200美元，而维护人力成本在3300到11250美元之间——你真正需要回答的问题是“谁来维护这个系统”，而不是“选哪个模型”。到100万次查询/月时，使用成本（约1.3万美元）在所有地区都超过了人力成本，模型路由和提示词优化才开始对得起工程师的时间。

优化优先级：先Token，再重排序，其余靠后

要看清哪些决策最重要，在10万次查询的中等模型场景（基准成本约1369美元/月）中逐项调整：

切换到小型模型效果最大，每月节省约980美元（72%），因为Token是主导成本。检索3个块而非5个，每次查询省1000输入Token，节省200美元（15%）。答案从400 token缩短到250 token，节省150美元（11%），因为输出Token单价是输入的5倍。去掉重排序器也能省200美元（15%），但很可能损害答案质量。

有些改动反而增加成本。关闭提示词缓存增加约270美元（20%）。切换到LangSmith三席位增加约257美元。将向量索引分区在10万次查询量级下几乎不省钱，因为你付的还是Pinecone的50美元最低消费。

核心结论很清晰：Token优先优化，重排序次之，其余的一切都可以往后放。

模型路由（Model Routing） 是上述优化优先级在工程上的落地手段：不再让所有查询都走同一个模型，而是先用一个轻量分类器或启发式规则判断查询难度，简单的事实性问答交给小模型，复杂推理或多跳问题才升级到中大型模型。由于文中指出模型档位选择是预算中最大的单一变量（小模型到最贵档相差约 17 倍），即便只有 30%–50% 的流量能被安全降级，也能带来两位数的整体成本下降。

路由的难点不在技术实现，而在质量保障：必须依赖评估集持续验证被降级的查询没有出现质量回退，并在模型更新时重新跑回归测试。这也解释了为什么文章建议在低流量阶段优先投入评估集和分块调优，而不是过早做路由——没有可靠的评估基线，路由带来的节省无法被信任。

常见问题

RAG查询到底花多少钱？ 在中等模型、10万次以上查询/月的规模下，每查询约0.013美元（约13美元/1000次）。小模型可以降到0.003美元以下，前沿模型可能超过0.05美元。

RAG系统中最大的成本是什么？ 规模化后是LLM Token，尤其是检索上下文带来的输入Token。低流量下，维护和评估系统的工程时间超过所有使用成本之和。

向量数据库要花多少钱？ 对约7GB的索引（100万块），10万到100万次查询的范围内约50到120美元/月。低流量下套餐最低消费是主导因素。

提示词缓存能降低RAG成本吗？ 能，但效果不如长静态提示词的聊天机器人明显，因为检索上下文每次查询都在变化。在上述模型中，缓存将LLM成本降低了约20%。

该自托管向量数据库和可观测性栈吗？ 自托管省去订阅费但增加基础设施和工程时间。在这个量级下，订阅费用相对于半个工程师的薪资微不足道，自托管通常更适合数据驻留或合规需求，而非成本考量。