成本每正确率是陷阱：为何它总推荐便宜模型

在LLM生产系统中，准确率与成本的权衡几乎必然出现，但常见的“每次正确回答成本”指标却可能误导你选择最便宜的模型，而非真正满足质量要求的方案。

指标本身的缺陷

“每次正确回答成本”在2000次请求上的模拟显示：小型模型（1单位成本/请求）准确率74.5%，每次正确成本1.34；而大型模型（20单位）准确率95.8%，每次正确成本20.88。根据该指标，小模型完胜。

这并非偶然。任何情况下，只要小模型勉强够用，该指标就会将胜利判给它。作者最初草稿甚至断言相反结论，但页面内检查推翻了这一假设。

先设定质量下限

真正有答案的问题是：给定承诺的准确率，达到它的最低成本是什么？

例如，承诺90%准确率时，小模型直接出局——它不是便宜，而是不符合资格。此时，带验证器的级联策略仅需始终使用大模型花费的28%。承诺95%时，基于难度的路由花费32%。路由的全部价值在于，只有写下质量门槛后，节省才变得可见。

级联策略（Cascade）与路由（Routing）的区别：级联是一种顺序执行策略，请求先进入低成本模型，若其置信度或验证器判定结果不可靠，则将同一请求升级到更强的模型重试，因此每个请求可能经历多次调用。路由则是前置决策，根据输入的预估难度（或元数据）在调用前选择模型，通常只调用一次。二者节省的来源不同：级联靠“大多数请求不升级”来摊薄成本，路由靠“简单请求根本不调用大模型”来省钱。本文中承诺90%质量下的级联花费为28%，承诺95%下的路由花费为32%，正是这两种机制在不同质量门槛下的表现。

验证器（Verifier）的作用：这里的验证器并非人类评审，而是一个可自动运行的正确性判定函数或轻量模型，用于在级联中判断小模型的输出是否达标。它的存在会引入额外成本与延迟，但能显著减少错误请求流向大模型的次数。若验证器本身不够可靠，级联的省本效果会迅速消失。

用置信度路由的陷阱

让小型模型在不确定时升级，看似合理。但数据显示：当小模型置信度为90%时，实际正确率为0%。置信度衡量的是流畅度，而非正确性。存在一个区间，模型90%自信却0%正确，而升级机制本应覆盖这些请求，却因置信度设计而失灵。

LLM置信度与校准（Calibration）：语言模型输出的置信度通常来自 token 概率、自报概率或重复采样一致性，但这些信号衡量的是“生成的流畅程度或分布集中度”，而不是“事实正确性”。一个模型可以在完全错误的事实上生成非常自信的表述，因为错误答案在训练分布中同样高频、同样连贯。校准指的是模型自报置信度与实际正确率的对齐程度；未校准的模型会出现“90%自信却0%正确”的区间。因此，把置信度直接用作路由或升级触发器，等于用一个错误的代理指标做成本决策，最终既没省钱也没达到质量下限。

路由本身也有成本

多数对比忽略了路由器的开销。它也是一次模型调用，每笔请求都要计费。在代码实现中，若未将路由器成本计入，开销表就毫无意义。

路由器成本为何常被忽略：在论文或博客的对比表格中，路由器往往被抽象成一个免费的函数，但在生产实现里，判断输入难度本身通常需要一次模型调用（例如分类器、embedding 相似度或轻量 LLM 打分）。这笔开销按每请求计费，会直接叠加在总成本上。若路由器成本为 c_r，小模型成本为 c_s，大模型成本为 c_l，则路由策略的真实期望成本为 c_r + p·c_s + (1-p)·c_l，其中 p 是走小模型的比例。当 c_r 接近甚至超过 c_s 时，原本看似可观的节省会被大幅侵蚀。因此任何路由方案在落地前，必须把路由器自身的调用次数、token 消耗与延迟纳入同一张账单。

天花板与可复现性

预言机路由器预先知道小模型哪些会错，只将错误请求发给大模型，其准确率与始终用大模型相当，花费仅29%。基于难度的路由达到32%，差距不大。

所有结果均无API、无采样，难度函数为u²（u均匀分布），因此每个数字都可用闭式解复现。184个验证器断言、34个页面内检查、0失败。

预言机路由器（Oracle Router）：这是一种理论上的上界，它预先知道每个请求用小模型是否会答错，从而只把注定失败的请求发给大模型，其余全部由小模型处理。它不代表任何可部署系统，而是用来衡量真实路由策略还有多少提升空间。本文中预言机路由花费29%、基于难度的路由花费32%，二者接近，说明难度函数已经捕捉到了大部分可预测的错误信号。若真实路由与预言机的差距很大，则说明当前的路由特征（如输入长度、领域标签）不足以区分难易请求，继续优化路由器收益有限，应转向级联或验证器方向。

结论

“每次正确回答成本”单独使用时，会奖励最便宜的勉强够用的模型。正确的框架是先固定质量下限，再寻找满足该下限的最经济路径。路由、级联等策略的节省，只有在质量门槛明确后才显现。