多轮对话成本爆炸：$29 AI SaaS 为何在 P95 亏损

大多数工程团队在估算 AI SaaS 功能的毛利率时，只算一次孤立 API 调用的成本。以 Claude 3.7 Sonnet 为例：输入 $3/百万 token，输出 $15/百万 token，假设一次请求包含 2500 token 的系统与 RAG 提示、500 token 的响应，单次成本约 1.5 美分。按这个数字，$29/月的 Pro 订阅似乎能轻松支撑近 1500 次请求，毛利率看起来相当健康。

但生产环境里，这笔账会灾难性地失败。问题不在于单价，而在于多轮会话中上下文被反复重传的隐藏结构。

多轮 Agentic 会话的二次方成本

LLM 是无状态的。在一个 20 轮的编程助手、法律文档分析器或客服 copilot 中，用户每发第 k 条消息，后端都要重新发送静态系统提示、工具 schema、检索到的 RAG 片段，以及之前全部 k-1 轮的用户与助手对话。

设静态系统提示加工具定义为 3500 token，每轮 RAG 上下文 2000 token，用户平均输入 300 token，助手平均输出 600 token。第 k 轮的输入 token 数为：3500 + 2000 + (k-1)×900。20 轮会话累计输入不是 5800 token，而是：20×(3500+2000) + 900×(19×20/2) = 110000 + 171000 = 281000 输入 token。

再叠加多步工具调用——agent 每条用户消息循环 3 次——单个 20 轮会话轻易突破 65 万输入 token 和 3.5 万输出 token。成本增长不是线性的，而是随轮数呈二次方上升。这正是许多团队在 P95 用户身上看到的毛利率缺口来源。

LLM 的无状态性是理解上下文成本的关键：模型本身不记忆任何历史，服务端每次推理都只处理本次请求中显式传入的 token 序列。所谓"对话记忆"完全由应用层实现——客户端或后端保存完整消息历史，在每次调用时把系统提示、工具定义、检索片段与全部既往轮次重新拼接后发给 API。这意味着第 k 轮请求的输入长度随 k 线性增长，而整个会话的累计输入量随轮数呈二次方（O(n²)）增长。这也是为什么缓存机制（如 Anthropic 的 prompt caching、OpenAI 的 automatic caching）对成本影响巨大：它们把重复的静态前缀以折扣价复用，但要求前缀逐字节一致，任何动态内容注入都会破坏命中。

P95 重度用户的真实 COGS 对比

基于 TokenMargin.dev 同步的 232 家供应商、469 个模型的实时定价，假设一个 $29/月的席位，P95 重度用户每月跑 30 个会话（每个 65 万输入 / 3.5 万输出），结果如下：

模型与策略	输入/百万	缓存/百万	输出/百万	单会话成本	P95 月 COGS	毛利率（$29 席位）
GPT-4.5 Preview（遗留陷阱）	$75	$37.5	$150	$54	$1620	-5486%（致命）
Claude 3.7 Sonnet（无缓存）	$3	N/A	$15	$2.47	$74.25	-160%（亏损）
GPT-4o（无缓存）	$2.5	N/A	$10	$1.97	$59.25	-108%（亏损）
Claude 3.7 Sonnet（85% 缓存命中）	$3	$0.3	$15	$0.76	$22.8	+17.4%（偏低）
80/15/5 混合路由 + 缓存	混合	混合	混合	$0.16	$4.8	+79.8%（目标）

表格揭示了几个关键事实。不加优化的前沿模型在 P95 场景下毛利率为负，GPT-4.5 这样的高价遗留方案甚至是灾难级亏损。启用 prompt caching 能把 Claude 3.7 Sonnet 从 -160% 拉回 +17.4%，但离健康的 SaaS 毛利率仍有距离。只有缓存加语义分层路由的组合，才能把毛利率推到接近 80% 的目标区间。

恢复 80%+ 毛利率的三项工程修复

修复一：别打碎自己的前缀缓存

Anthropic 的缓存读取定价为 $0.30/百万 token（九折优惠），OpenAI 在 GPT-4o 上为 $1.25/百万（五折优惠），两者都依赖精确前缀匹配。如果在系统提示顶部注入动态时间戳或用户会话 ID，缓存命中率会直接掉到 0%。

请求结构应当确定化：第一块是静态系统指令加确定性工具 JSON schema（可缓存）；第二块是固定的工作区或仓库上下文（可缓存）；第三块是每 4 轮打一次检查点的历史对话（可缓存）；第四块才是最新用户输入加动态元数据（不缓存）。把动态内容全部后置，是缓存生效的前提。

前缀缓存（prompt caching）是模型供应商提供的服务端优化：当多次请求的开头 token 序列完全一致时，供应商直接复用已计算的 KV cache，跳过重复的注意力计算，从而按折扣价计费。Anthropic 要求显式标记缓存断点，缓存写入有溢价而读取约为标准输入价的 10%；OpenAI 则对超过 1024 token 的相同前缀自动启用缓存，折扣约 50%。关键约束是精确前缀匹配——前缀必须逐字节相同，任何位于前缀中的动态内容（时间戳、UUID、用户 ID、随机会话 seed）都会导致该点之后的所有内容无法命中。因此把静态内容集中前置、动态内容全部后置，是缓存策略的基本结构原则。

修复二：部署 80/15/5 语义分层路由

不是每一轮对话都需要 $15/百万 token 的前沿模型。在应用前放置 LiteLLM 或 OpenRouter 做语义路由：80% 的快速层处理意图分类、查询改写和简单追问，走 Gemini 2.0 Flash（$0.10/百万输入，$0.025/百万缓存）或 DeepInfra 上的 Llama 3.3 70B Instruct（$0.12/百万输入，$0.30/百万输出）；15% 的前沿层处理复杂代码生成与综合，走开启 prompt caching 的 Claude 3.7 Sonnet；5% 的深度推理层处理困难架构验证，走 o3-mini（$1.10/$4.40）或 DeepSeek^广告 R1（$0.50/$2.15）。

语义路由指在应用层与模型 API 之间加一层代理，根据请求的语义特征（意图类型、复杂度、所需能力）把流量分发到不同价位与能力的模型。典型手段包括基于分类器的小模型意图识别、基于规则的复杂度判断，或直接用一个廉价快模型评估任务难度。路由的价值来自模型能力的巨大价差：轻量模型处理分类、改写、简单问答的成本可比前沿模型低一到两个数量级，而对这类任务的质量影响很小。工程上常用 LiteLLM（开源代理，支持统一接口、重试与成本统计）或 OpenRouter（聚合多家供应商的托管路由）作为落点，便于灰度调整各层比例并实时观测成本。

修复三：按吞吐量决定是否自托管

当团队持续吞吐量越过每天 4000 万至 5000 万 token 时，租用专用 vLLM/SGLang GPU 实例通常比按 token 计费的 serverless 方案再省 45% 到 60%。Vultr 提供 H100、A100、L40S 集群，RunPod 提供按秒计费的 vLLM 模板，可一键部署 Llama 3.3 70B、DeepSeek R1 Distill 和 Qwen 2.5 Coder 32B。这个阈值不是绝对的，但可以作为自托管决策的参考线。

自托管推理指在自有或租用的 GPU 上运行开源模型（如通过 vLLM 或 SGLang 等推理框架），而非按 token 向 API 供应商付费。其经济性由固定成本与按量成本的对比决定：GPU 实例按小时计费，与流量无关，因此吞吐越高，单位 token 的摊销成本越低；而 serverless API 的成本严格随用量线性增长。盈亏平衡点取决于模型大小、GPU 型号、批处理效率与利用率，文中给出的 4000-5000 万 token/天是常见区间的经验值。自托管还带来数据不出域、可微调、可固定版本等非成本收益，但需要承担运维、容量规划与利用率不足的风险。

定价与架构必须一起设计

这篇文章的核心提醒是：AI SaaS 的毛利率不是一个定价问题，而是一个架构问题。单次调用成本只是冰山一角，多轮上下文累积、缓存命中率、模型分层策略共同决定了 P95 用户是利润来源还是亏损黑洞。在订阅价格确定之前，先用真实的会话长度和缓存比例跑一遍成本模拟，比事后调价要便宜得多。

TokenMargin 提供了免费的压力测试模拟器，可以输入席位价格、会话轮数和缓存命中率来估算毛利率。对于需要向管理层汇报的团队，这类 unit economics 审计应该成为产品上线前的标准动作。