别再为GPU多付钱：LLM推理Spot与按需实例成本对比

如果你在用租来的GPU跑大模型推理，大概率正在多付钱——不是多付一点点，而是2-3倍。问题不在选哪家云厂商，而在于你选择哪种付费方式。

一位长期跟踪GPU云定价的从业者在其分析中给出了Spot与按需实例的实操对比框架，用具体数字揭示了大多数人在哪里浪费了最多成本。

Spot vs On-Demand GPU定价对比

价格差距比想象中大得多

以7B-32B模型推理的主力卡RTX 4090（24GB）为例：

按需实例：约$0.34–$0.74/小时，因云厂商而异
Spot/可抢占实例：同一张卡约$0.15–$0.30/小时

同样的硅片，价格差距达到50%-70%。A100 80GB的情况类似：按需约$1.20/小时，Spot约$0.50/小时。

但便宜从来不是没有代价的。

Spot实例在LLM推理中的真实表现

Spot实例可能被云厂商在极短通知期内回收（通常30秒到2分钟）。这对LLM推理意味着三个实际问题：

模型重载时间：一个70B模型加载进VRAM需要3-5分钟。如果每小时被抢占两次，损失可能超过省下的钱。
请求中断：正在处理的请求直接失败，需要重试逻辑或队列机制来兜底。
可用性波动：高峰时段Spot容量枯竭，你需要的"便宜"GPU可能根本不存在。

Spot实例（可抢占实例）的机制：Spot实例是云厂商将闲置算力以折扣价出售的商业模式。云厂商保留随时回收的权利，通常在回收前给出30秒到2分钟的预警窗口。这个机制的本质是：云厂商优先保障按需实例的容量供给，Spot实例只在有富余算力时存在。因此Spot的价格和可用性高度依赖区域供需——美欧工作日的白天是高峰时段，容量紧张、抢占频繁；深夜和周末则供给充裕、价格更低。理解这一机制有助于判断：你的推理负载在什么时段跑、对中断的容忍度如何，直接决定了Spot是否真的适合你。

决策框架：什么时候用哪种

适合Spot的场景

批量推理（embedding、批量分类、离线评估）
工作负载支持检查点或本身无状态
能容忍5-10分钟中断
跑实验时成本比延迟更重要

适合按需的场景

面向真实用户、有延迟SLA要求
模型加载时间超过2分钟（大模型）
美欧高峰时段，Spot市场供给薄弱
中断成本超过节省金额——这笔账要算清楚

大多数人应该用的混合策略

基础流量跑1-2台按需实例，突发流量用Spot扩展。多数推理负载都有可预测的基线和尖峰上限。基线付全价，尖峰付Spot价。

被跳过的数学：有效小时成本

不要只比较小时费率，要计算每千Token的有效成本：

effective_hourly = (hourly_rate × hours_run + reload_cost) / hours_run

其中 reload_cost = preemptions × reload_time_hours × hourly_rate。

举例：$0.20/小时的Spot，每小时被抢占3次，70B模型每次重载4分钟——

重载开销：3 × (4/60) × $0.20 = $0.04/小时
有效费率：$0.24/小时，仍然远低于$0.74的按需价格

但如果每小时被抢占10次？有效费率升到$0.33/小时，还要加上延迟带来的体验损失。到这一步，按需实例反而更划算。

这个公式的价值在于把"便宜"这个直觉转化为可比较的数字。很多团队在选Spot时只看了标价，忽略了重载和中断带来的隐性成本。

每千Token的有效成本：文章给出的有效小时成本公式只考虑了时间维度，但LLM推理的最终计费单位是Token。将有效小时成本进一步除以该小时产出的Token数（即吞吐量），才能得到每千Token的真实成本。不同模型、不同批大小（batch size）下吞吐量差异巨大：一个7B模型在4090上批处理32路请求时，每小时可能产出数十万Token；而一个70B模型单路推理时吞吐量可能低一个数量级。这意味着同一张卡在不同配置下的每千Token成本可能相差数倍。做了Spot与按需的对比后，建议再用每千Token成本横向比较不同模型规格和部署方案，避免在错误的维度上优化。

容易被忽视的隐性成本：出网流量费

最容易忽略的成本不是算力，而是数据传出费用。部分云厂商收取$0.05-0.09/GB的出网费。如果你在做大上下文窗口的RAG或提供多模态模型服务，出网费可能超过GPU本身的账单。在做决策前，务必查看出网定价。

出网流量费（Egress Fee）的成因与规避：云厂商对数据传出其网络边界的流量收费，而对传入流量通常免费。这一设计的商业逻辑是锁定用户——数据进来容易、出去难，迁移成本因此抬高。在LLM推理场景中，出网费主要产生于三个环节：向用户返回推理结果、从外部数据源拉取RAG检索内容（如果跨云）、以及模型权重或日志的下载。规避思路包括：将推理服务与调用方部署在同一区域甚至同一可用区以走内网、对高频调用的结果做边缘缓存、以及在选择云厂商时将出网单价纳入总拥有成本（TCO）比较。部分中小云厂商以低出网费作为差异化卖点，值得纳入选型考量。

落地建议

Spot与按需的选择本质上是成本与可靠性的权衡。核心原则有三条：

算有效成本，不算标价：把重载时间和抢占频率代入公式，得出真实的每小时成本。
混合部署优于二选一：基线用按需保稳定性，尖峰用Spot降成本。
别漏算出网费：它在RAG和多模态场景下可能是账单大头。

云GPU定价变化很快，在做最终决策前建议直接核实各家最新价格。