LLM调用的真实成本：Token、精度与诚实的数字

标价不等于成本

每百万Token的报价只是价签，而不是真实成本。当两家服务商报出相同的每百万Token单价时，最终账单却可能相差悬殊——差距隐藏在四个常被忽视的维度里。

一次LLM调用的真实成本，取决于你实际消耗了多少Token、服务商以何种数值精度提供模型、请求等待了多久，以及这个端点在负载下是否还活着。把这几件事量化清楚，才能给一次调用标上一个站得住脚的价格。

LLM调用成本测量

隐藏成本的四个角落

真正拉开差距的不是单价，而是单价之外的变量。

Token消耗量。 推理型模型和冗长的系统提示会显著改变一个任务实际烧掉的Token数量。单价是固定的，但消耗的数量不是。一个看似便宜的模型若在推理阶段吐出大量中间Token，总成本可能远超表面更贵的竞品。

数值精度（Precision）。 以较低数值精度部署的模型运行成本更低，而服务商未必会告诉你自己拿到的是哪种精度。精度同时是成本杠杆和质量杠杆——它既决定了服务商的开销，也影响着模型的输出表现。

延迟（Latency）。 首Token延迟和每秒Token吞吐量，直接决定一次调用能否塞进面向用户的时间预算。而公开的价格页面几乎从不公布这两个数字。

可用性（Availability）。 一个在高负载下返回503的廉价端点，对那次失败的请求而言，实际成本是无穷大。再低的单价也挽救不了一次失败的调用。

精度值得单独一行

当你对比同一个模型的两种部署时，命令行里的启动参数并不能说明全部问题。即便启动配置看起来完全一致，实际提供服务的权重精度也可能不同，而这会同时改变速度和输出质量。

做基准测试时，务必锁定你真正测量的精度，并明确声明。一次公平的对比会说清精度是多少；一次不公平的对比则会把它藏起来。

保持诚实的一个简单方法，是把精度当作成本模型里一个显式的权重，而不是悄悄折进单一的价格数字里。先把假设摆出来，再让读者自行调整。

数值精度（Numerical Precision）指模型权重所用的浮点格式，常见规格包括 FP32（32位全精度）、FP16（16位半精度）、BF16（Brain Float 16）以及各种量化格式如 INT8、INT4 等。精度越低，单个参数占用的显存越小，推理所需的算力越少，服务商的硬件成本随之下降，响应速度通常也更快。代价是数值表示范围和精度的收窄，可能导致模型在细粒度推理、数学计算或低频词汇处理上出现细微但可重复的质量下滑。业界常见的做法是对权重进行 INT4 或 INT8 量化，同时保留关键层的高精度，以此在成本与质量之间取得平衡。由于量化策略多种多样且服务商鲜少主动披露，外部用户很难仅凭 API 端点名称判断实际部署精度，这也正是"在固定提示上同步测量行为表现与速度"成为重要验证手段的原因。

延迟是成本，不是感觉

首Token延迟和每秒Token数都是可测量的量，它们理应出现在成本叙事中。麻烦在于，公开API往往不暴露这些指标，所以你必须用相同的提示亲自调用端点，并记录数字。

一次调用只是一个样本，不是定律。要报告你调用了多少次、从哪里发起，因为答案会随着这两个条件而变化。把延迟当作可以主观感受的"手感"去评判，是测量纪律的失守。

首Token延迟（Time to First Token，TTFT）是从请求发出到收到第一个输出Token所经历的时间，反映模型在开始生成之前的预处理与调度开销；每秒Token数（Tokens per Second，TPS）则衡量后续流式输出的速度，决定长文本响应的完整等待时间。两者共同构成用户可感知的"响应节奏"：低 TTFT 让界面迅速出现第一个字，高 TPS 让内容快速填满。对于面向用户的产品，通常存在一个硬性时间预算（例如首字200ms内、完整回答3秒内），超出该预算会直接触发超时、降级或用户流失，这时延迟就不再是"体验指标"，而是决定调用是否成功的业务成本。测量时需控制网络来源（例如同一数据中心 vs. 用户终端），并在不同时段多次采样，因为共享推理集群的排队延迟会随负载显著波动。

一份可执行的测量清单

在你为一次LLM调用公布成本数字之前，请逐项确认：

你为一个有代表性的任务统计了实际Token数，而不仅仅是单价。
你声明了所测量的服务精度。
你亲自测量了首Token延迟和吞吐量，并写明了调用次数。
你在真正关心的负载下检查了可用性，而不是在空闲时测的。
你把测量得到的数字和假设的数字分开，并给假设打上了标签。

如果一次对比缺了上面任何一项，那它就只是一句报价，而不是一次测量。

为什么这件事现在变得重要

随着越来越多的产品在多个模型之间做路由分发，问题已经不再是"抽象意义上哪个模型最好"，而是"哪一种部署能以你能够辩护的成本，提供你所需要的质量"。

这是一个测量问题，而测量问题奖励的是纪律，而非营销话术。当选型从单一模型变成跨模型组合时，拍脑袋的"便宜"判断会在真实账单面前原形毕露。

常见问题

每百万Token的价格没用吗？ 并非如此，它是一个输入项。真实成本 = 单价 × 实际Token数，再根据精度、延迟和可用性做调整。

服务商不说精度，我怎么测？ 在固定提示上测量模型的行为表现和速度，并在无法核实时明确声明"所提供的精度未经验证"。

为什么要自己测延迟？ 因为大多数公开API不暴露首Token延迟，而它对面向用户的时间预算是决定性的。

一次调用还是多次？ 多次。一次调用只是样本，请注明调用次数和来源。

结语：数字的价值取决于附加的条件

一个可以推广的主题是：一个成本数字的价值，只取决于附在它身上的条件。说清精度、注明调用次数、把测量值和假设值分开——数字才会变成一个你能够为之辩护的东西。