AI智能体的烧钱账单：每个正确答案到底值多少钱？

单次模型调用的价格是可预测的，但一个会不断循环的AI智能体（Agent）却不是。每一次工具调用、每一次重试、每一次检索文档，都会叠加一轮计费的往返请求，而大多数团队往往到月底收到云账单时才知道总额。

一位开发者在Kaggle Benchmarking Challenge中提交了一个全新的基准测试，它换了个角度提问：不是「这个模型多少钱？」，而是「每个正确答案的成本是多少？」这个看似简单的转向，恰恰击中了生产环境中智能体成本管理的盲区。

测试设计：24个真实任务，确定性评分

这套基准测试包含24个小型的、智能体风格的任务，分为三个难度等级：简单（算术、信息抽取、分类）、中等（分析、起草、优先级排序）、困难（多跳综合推理、权衡取舍、推导）。作者强调，这些都是生产环境智能体真正要做的工作，而非知识问答式的「冷知识」。

关键在于评分机制——每个任务都有一个确定性检查器（deterministic checker），答案要么对、要么错。没有用大模型当裁判，也没有凭感觉打分。这种设计避免了「LLM judge」常见的主观偏差，让结果更具可复现性。

目前，前五个简单任务已在Kaggle上线，针对五款托管模型运行：Gemini 2.5 Flash、Gemini 3.7 Flash、DeepSeek^广告 R1、GPT-OSS 120B 和 Qwen3 235B。

确定性检查器（deterministic checker）是相对于「LLM-as-a-Judge」评估范式而言的。后者用一个大模型来判断另一个模型的输出质量，虽然灵活，但评分结果会随评判模型版本、提示词措辞而漂移，难以跨时间、跨团队复现。确定性检查器则像单元测试一样运作：预先定义好可接受的答案集合或结构化规则，程序自动比对，结果非0即1。这种设计的代价是任务设计难度更高——并非所有现实任务都能被收敛到唯一正确答案——但带来的好处是结果完全可审计，任何人拿到相同输入都能独立验证结论，这在成本基准测试中尤为关键。

Kaggle实测结果：简单任务也会翻车

从Kaggle实时任务页面得出的结果中，有三点值得关注。

只有一个模型跑完了全部任务

Gemini 2.5 Flash 是唯一在全部五个任务上都有结果的模型——五战全胜，并以100.00分登顶排行榜。在五款模型都参与的三个任务（e3–e5）中，15行结果里有14行通过。

唯一一次真实失败最耐人寻味

GPT-OSS 120B，一款旗舰级开源权重模型，在e5上失败了——这是一个一行就能解决的信息抽取任务（「埃菲尔铁塔有多高，以米为单位？」），其他所有模型都轻松通过。作者的点评一针见血：简单任务本应枯燥乏味，它们大多时候确实如此，但偶尔某个模型会丢掉一个它根本不该丢的任务。而在生产环境中，这个被丢掉的任务，就是一个真实用户的请求。

当准确率打平，成本就是全部

在简单任务上，几乎每个现代模型都几乎总是正确。既然准确率无法区分它们，真正的区分点就在于每个正确答案的成本——而这恰恰是大多数团队从不计算的那个数字。

作者还做了一个诚实的说明：e2任务中三行「Error」是他第一版构建模式下的Kaggle平台错误，而非模型答案。运行本身完成了，但平台没能注册替换进来的模型。他从e3开始修复了这个问题，并选择保留e2的原样，而非悄悄重建——因为一个可以被偷偷修改的基准测试毫无价值。

路由策略才是团队真正能控制的部分

上面的Kaggle任务是逐个测试模型，但生产环境中的智能体并非如此工作——一个路由器（router）会决定由哪个层级来处理每个任务。于是作者在本地用开源工具 tokenecon，让完整的24任务套件跑过四种路由策略，并进行确定性评分：

策略	准确率	总成本	每正确答案成本
分层路由	100%	$0.1661	$0.0069
仅用大模型	100%	$0.2334	$0.0097
仅用中模型	67%	$0.0274	$0.0017
仅用小模型	33%	$0.0036	$0.0004

结果很有启发性。分层路由（简单任务交给廉价层，困难任务升级到强模型）在匹配大模型100%准确率的同时，成本降低了29%。

但看最后一行：最便宜的那一层拥有最低的每正确答案成本，却把三分之二的工作做错了。这揭示了一个陷阱——没有准确率底线的「每正确答案成本」是具有误导性的。只有在设置了「准确率≥95%」这样的硬性要求后，分层路由才成为最便宜的可行策略。而这个准确率底线，正是大多数成本仪表盘所缺失的那一块。

作者明确标注：这张表是一个确定性的本地模拟，价格来自 tokenecon 价格表中的示例价格。Kaggle任务页面只报告通过/失败，上面的美元数字都不来自Kaggle。这个模拟衡量的是路由策略，也就是团队真正能够控制的那部分。

分层路由（tiered routing）的核心思想是按任务复杂度将请求分发给不同能力（也不同价格）的模型，类似软件架构中的缓存层级：简单、高频的请求由廉价小模型处理，只有当置信度不足或任务被分类为复杂时，才「升级」到更强但更贵的大模型。实现路由的方式包括：基于规则的关键词/意图分类、轻量级分类模型打分、或让小模型先尝试并对自身输出打置信分数再决定是否转交。tokenecon 是本文使用的开源成本模拟工具，它允许开发者在不实际调用API的前提下，用本地价格表对不同路由策略的总花费和每正确答案成本进行确定性估算，从而在上线前完成策略对比。

透明披露与下一步

作者为基准测试附上了一份坦诚的披露清单：目前只有5个简单任务在Kaggle上线，中等和困难层级已存在于套件和本地运行中，Kaggle版本随后推出；Qwen3 235B 运行的是Kaggle目录中的2506版本，而非原规格中的2507；Gemini 3.7 Flash 出现是因为它是Kaggle模板任务的默认占位模型，但其数据是真实运行结果，故予保留。

接下来，中等和困难层级将上线Kaggle。作者认为那才是真正有趣的地方——简单任务很快会饱和，而多跳推理工作才是模型拉开差距、路由策略真正体现价值之处。他邀请所有在生产环境运行智能体的团队：fork这套测试框架，接入自己的任务和自己的价格，去搞清楚你的正确答案到底花了多少钱。

为什么这个视角值得重视

这个基准测试的核心价值，不在于某个模型的具体排名，而在于它提出的方法论：当模型能力趋同、准确率难分高下时，成本效率成为工程决策的关键维度。更重要的是，它指出单纯追求「每正确答案成本」最低会掉进陷阱——必须先设定准确率底线，才能让成本优化具有实际意义。

对于正在将AI智能体投入生产的团队而言，这是一个清醒的提醒：模型调用的烧钱速率需要被量化、被监控、被纳入路由决策，而不是等到月底账单才后知后觉。