AI智能体为何烧钱？框架隐藏成本深度解析

智能成本在下降，为何智能体反而更贵？

从OpenAI首款推理模型到如今的新一代模型，短短两年内AI推理成本已经下降了两到三个数量级，性能却显著提升。这正印证了经济学中的杰文斯悖论——当某种资源变得更廉价、更易获取时，其总体消耗反而会大幅增加。

杰文斯悖论最早由英国经济学家威廉·斯坦利·杰文斯于1865年在其著作《煤炭问题》中提出。他观察到，詹姆斯·瓦特改良蒸汽机后，煤炭的使用效率大幅提升，但英国的煤炭总消耗量不降反升。这一悖论的核心机制在于：效率提升降低了单位使用成本，从而刺激了更广泛的应用场景和更大规模的使用量，最终总消耗超过了效率节省的部分。在AI领域，这一现象极为典型——当GPT-4时代每百万Token的推理成本高达数十美元时，开发者会精打细算每一次API调用；而当成本降至几美分时，开发者开始毫不犹豫地构建需要数百次模型调用的智能体工作流，总支出反而更高。AI变得触手可及，更多人愿意使用，从而催生出更大规模的算力需求。

另一边，开源与闭源模型的竞争格局也在悄然改变。过去开源模型在性能上通常落后闭源模型6到18个月，但近期开源模型已真正具备竞争力。随着Kimi K3、DeepSeek系列、GLM等模型的崛起，开源方案成为了强有力的替代选择，在各大排行榜上占据了越来越大的份额。

AI模型的开源与闭源之争，本质上反映了两种不同的技术路线和商业逻辑。闭源模型（如GPT-4、Claude 3.5）由商业公司独占训练数据、模型权重和推理优化技术，通过API收费获取回报。开源模型则公开模型权重，允许社区自由部署和微调。2024年以来，这一格局发生了根本性转变——DeepSeek-V3/R1以极低的训练成本达到了接近GPT-4o的性能，月之暗面的Kimi K3在多项基准测试中表现亮眼，智谱AI的GLM-4系列也持续缩小差距。这种竞争态势迫使闭源厂商不断降价，同时也为智能体框架提供了更多低成本的模型选择。

然而，一个关键的认知误区在于：模型本身的成本，与包裹在模型外部的框架成本，是完全不同的两回事。 这也是本文要揭示的"隐藏成本"核心所在。

薄框架 vs 厚框架：成本差异高达30倍

大多数人通过聊天界面使用AI，本质上是在使用一层"薄框架"——几乎是在直接与模型交互。但一小部分早期采用者使用的是更厚重的框架，比如Claude Code、Cursor、Open Code、Codex等。在这些工具中，你不再直接操作模型，而是通过一个被称为"框架"（Harness）的外部媒介来工作。

这里所说的"框架"或"Harness"，在技术上指的是包裹在大语言模型外层的编排系统（Orchestration Layer）。它并非简单的聊天界面，而是一套完整的工具调用、上下文管理和任务分解系统。以Claude Code为例，当用户输入一个编码需求时，框架会：1）将用户指令与系统提示词拼接；2）管理工具定义（如文件读写、终端命令、搜索等）；3）解析模型返回的工具调用请求；4）在本地环境中执行操作；5）将执行结果反馈给模型进行下一轮推理。这种"代理循环"（Agent Loop）架构是当前所有编码智能体的核心设计模式，也是LangChain、CrewAI等智能体框架的基本范式。

根据Anthropic的数据，仅仅因为使用了智能体或多智能体系统，成本就可能高出4到15倍。 这里有一个直观的对比实验：一个简单的提示词，要求创建包含字幕表的文件，只消耗约25个Token。按OpenAI定价，这条提示词成本仅约0.0001至0.0005美元，模型回复约500个Token，加起来还不到一分钱。

但当同样的提示词交给Claude Code这样的厚框架处理时，整个交互的成本立刻飙升到37美分——从一开始就贵了近30倍。

系统提示词：进入模型的"收费站"

导致价格飙升的最大原因，是框架层中的额外开销。像Claude Code、Open Code、Cline、Cursor这样的框架，会给每条发送给模型的消息额外增加8000至3万个Token。这就像一个收费站，付费才能进入模型。

这种开销被称为系统提示词（System Prompt）。系统提示词是大语言模型架构中的一个特殊输入层，位于用户消息之前，用于定义模型的行为边界、角色设定和可用工具。在Transformer架构中，系统提示词与用户输入共同参与自注意力计算，这意味着系统提示词中的每一个Token都会影响模型的推理路径。对于编码智能体来说，系统提示词通常包含：工具函数的JSON Schema定义、操作规范和安全约束、代码风格指南、错误处理流程等。Claude Code的系统提示词之所以长达数万Token，是因为它内置了文件操作、Git管理、终端命令、浏览器控制等十余种工具的完整定义。每增加一个工具能力，系统提示词就要相应增长，这构成了功能丰富性与成本之间的天然矛盾。

每个框架都包含一定数量的系统提示词，Claude Code这类功能丰富的框架往往拥有更大的系统提示词——因为它开箱即用地提供了大量功能，这些功能都需要在系统提示词中详细描述，模型才能理解如何与框架交互。

不同框架的成本差异非常明显：

框架	同一提示词的大致成本
Claude Code	约37美分
Open Code	约11美分
Cline	约7美分
轻量框架	约2.5美分

由于Cline等框架是开源的，开发者甚至可以在GitHub仓库中直接阅读其系统提示词的长短与结构，了解背后的工作原理。

来回循环：智能体的真正成本黑洞

在使用框架时必须牢记：你的提示词并不是只发送给模型一次。 在聊天应用中，一问一答很常见；但在智能体应用中，模型和框架之间会发生反复的"来回震荡"。

以创建一个文件为例，整个流程包含多次往返：

1. 模型要求框架检查文件是否存在 → 框架检查电脑并返回结果
2. 模型要求框架创建文件 → 框架执行操作
3. 模型要求框架写入内容 → 框架完成写入

即使是这样一个简单任务，也涉及大量往返交互。而对于"从零创建一个完整网站"这类耗时任务，一次操作可能需要10到20分钟，中间的往返次数可想而知。

关键在于，每次交互都携带着庞大的系统提示词和上下文信息，每一次往返都在"过收费站"，成本因此层层累积。这才是AI智能体真正烧钱的地方。更技术地说，由于大语言模型的自回归生成特性，每次往返不仅需要重新发送系统提示词，还需要附带之前所有轮次的对话历史作为上下文，这意味着随着交互轮次的增加，每次请求的输入Token数量会线性甚至超线性增长，形成一个不断膨胀的成本曲线。

提示词缓存：厂商的省钱术与赚钱术

有没有办法降低这种框架成本？答案是提示词缓存（Prompt Caching）。通过缓存已经计算并存储的提示词内容，即使向模型发送大量负载，也可以直接重用之前的KV缓存，从而节省时间和计算成本。

提示词缓存的底层机制依赖于Transformer模型中的KV缓存（Key-Value Cache）。在标准的自注意力机制中，模型需要为输入序列中的每个Token计算Key和Value向量，这些向量在后续Token生成时被反复查询。对于一段相同的系统提示词，如果每次请求都重新计算其KV向量，就造成了巨大的算力浪费。KV缓存的核心思路是：当检测到请求的前缀部分（通常是系统提示词）与之前某次请求完全一致时，直接复用已计算好的KV向量，跳过重复计算。这不仅节省了GPU算力（前缀填充阶段的FLOPs），还显著降低了首Token延迟（Time to First Token, TTFT）。在实际部署中，这项技术通常通过前缀树（Radix Tree）或哈希匹配来高效管理缓存条目，vLLM等开源推理引擎已内置了这一功能。

这项功能对框架尤为重要，也在各大推理服务商中变得普遍。访问Anthropic的定价页面时，可以看到针对不同缓存时长的差异化定价。Anthropic甚至提供长达一小时的高价缓存服务，让框架能在构建网站或深度调研等长耗时任务上节省成本。

从基础设施看缓存的利润空间

从硬件角度算一笔账：单张NVIDIA H100 GPU的租赁价格约每小时3美元，理论上可以将整整100万个上下文窗口放入单张H100中。NVIDIA H100是当前AI推理部署的主力GPU，单卡配备80GB HBM3高带宽显存，显存带宽达3.35TB/s。文中提到的"每小时3美元"租赁价格，反映的是当前云端GPU通过AWS、GCP或Lambda等平台按需租用的市场行情。将100万Token的上下文窗口放入单张H100的计算逻辑如下：在FP16精度下，每个Token的KV缓存占用取决于模型层数和注意力头维度，对于Claude 3.5级别的模型，100万Token的KV缓存约占数十GB显存，恰好可以装入一张H100。这意味着推理服务商可以将同一张GPU的显存空间"出租"给多个缓存请求，形成类似云存储的多租户模式。

假设Anthropic能为存储100万上下文找到12个不同位置、每个位置存储5分钟，那么单张H100每小时在提示词缓存上的收入约为70美元——这是一笔相当可观的利润，远超硬件租赁成本的20倍以上。

当进入一小时缓存费率时，定价模式会发生变化，因为长时间预留GPU非常昂贵。厂商可能会将GPU中未使用的内存暂时转存到附近的SSD存储（成本更低），再根据需要重新加载回GPU。这种策略在技术上被称为"KV Cache Offloading"或"分层存储"，借鉴了操作系统中虚拟内存的设计思想：将不活跃的数据从高速存储（GPU HBM）交换到低速但大容量的存储（NVMe SSD）。现代NVMe SSD的顺序读取速度可达7GB/s，虽然远低于HBM3的3.35TB/s带宽，但成本仅为其百分之一。当用户在一小时缓存窗口内发起新请求时，系统会将对应的KV缓存从SSD预加载回GPU显存，这个过程通常需要数百毫秒到数秒的延迟，对于编码智能体的后台任务完全可以接受。这就是为什么厂商能提供低至每百万输入Token 10美元的费率。

订阅模式：让用户不必焦虑成本

尽管这些底层机制很有研究价值，但真正使用编码智能体时，大多数人并不想逐笔计算开销。厂商留住用户的常见方法，是在模型层提供订阅模式，允许用户在订阅额度内自由使用各种框架。

ChatGPT、Claude、Gemini等主流AI产品都提供订阅。这样用户就不会在工作中途因担心智能体花了多少钱而焦虑，而是可以在使用限制定期刷新的前提下放心创作。从商业模式角度看，订阅制对厂商和用户是一种"风险共担"机制：厂商承担用户实际使用量可能超出订阅费用的风险，换取稳定的现金流和用户粘性；用户则以固定支出换取使用时的心理自由度，避免了按量计费模式下的"计量焦虑"。

几个典型的订阅方案：

• Anthropic Pro计划：每月20美元，可捆绑使用Claude Code、Claude Chat等多个框架，还能在Opus、Sonnet、Haiku等模型间自由切换
• ChatGPT Plus：同样支持混合使用不同框架与模型，基于同一订阅计量

对于个人用户和中小团队来说，订阅模式是目前规避智能体成本焦虑的最实用方式。但需要注意的是，订阅模式通常存在隐性限制——比如每日或每小时的请求频率上限、高级模型的使用配额等。当使用量超出限制时，系统可能会降级到较低性能的模型或限制响应速度，这也是厂商控制成本的重要手段。

理解成本结构，才能用好AI智能体

这篇分析揭示了一个被大多数用户忽视的事实：AI智能体的高成本，主要不来自模型本身，而来自框架层的系统提示词开销和反复的来回交互。 理解了这一点，就能明白为什么同样一句提示词，在聊天窗口里几乎免费，在编码智能体里却要几十美分。

从更宏观的视角看，这种成本结构的揭示也暗示了AI产业未来的竞争焦点：当底层模型能力趋于同质化、推理成本持续下降时，框架层的效率优化将成为差异化竞争的关键战场。谁能用更少的系统提示词Token实现同样的工具调用能力，谁能用更少的交互轮次完成同样的任务，谁就能在成本和用户体验上建立优势。

对于不同角色，控制智能体成本的策略也不同：

• 普通用户：选择订阅模式是规避成本焦虑的最佳方式
• 开发者和企业：理解框架开销、善用提示词缓存，是控制智能体成本的关键。此外，选择合适的框架"厚度"也很重要——并非每个任务都需要Claude Code级别的重型框架，对于简单任务使用轻量框架可以节省十倍以上的成本
• 开源社区：通过优化系统提示词长度和交互流程，正在不断压低框架层的额外成本。值得关注的方向包括：动态系统提示词（仅加载当前任务需要的工具定义）、上下文压缩技术（减少历史对话的Token占用）以及更高效的工具调用协议

随着开源模型的崛起和缓存技术的成熟，未来智能体的使用门槛有望进一步降低——但"隐藏成本"这门功课，仍然值得每一位AI从业者和使用者认真了解。

核心要点