Together推出可抢占计算：同等算力，半价GPU集群

可抢占计算是什么

Together GPU Clusters 近日宣布支持可抢占计算（preemptible compute），以按需价格的固定五折提供同等的 GPU 算力。对于长期被 GPU 成本困扰的 AI 团队来说，这是一个值得关注的信号——它用一种业界成熟的定价模式，把训练与推理的门槛进一步拉低。

可抢占计算的核心逻辑并不复杂：云服务商手中总有一部分闲置或波动的算力资源，与其让这些资源空转，不如以更低的价格出售给愿意接受中断风险的用户。当平台需要回收这些资源时，会提前通知并回收实例。Together 在这里给出的关键参数是五分钟的排空窗口（five-minute drain window），意味着任务被抢占前有五分钟时间来保存状态、完成收尾。

可抢占计算（Preemptible Compute）的概念最早由 Google Cloud 在 2015 年以「抢占式虚拟机」的形式引入公有云市场，AWS 则以「Spot 实例」的名称提供类似机制，Azure 对应的产品叫「Spot 虚拟机」。其共同原理是：数据中心的物理资源利用率在时间维度上存在明显波峰波谷，在低谷期将闲置容量以大幅折扣出售，当高优先级需求上来时再回收，本质上是一种动态的容量拍卖机制。与预留实例（Reserved Instance）和按需实例（On-Demand）相比，可抢占实例处于「价格最低、稳定性最弱」的一端，构成云计算资源定价的第三层。对于 GPU 资源而言，由于单卡价格远高于普通 CPU 实例，同样的折扣比例带来的绝对节省金额更为可观，这也是为什么这一模式被引入 AI 算力市场后会引发特别关注。

为什么半价很有吸引力

GPU 算力是当前 AI 开发中最昂贵的成本项之一，尤其是在模型训练、大规模微调以及批量推理等场景下，算力账单往往占据整个项目预算的大头。Together 把价格直接砍到按需费率的 50%，而算力规格完全相同——同样的 GPU 容量，只是附带了被抢占的可能性。

这种定价并非 Together 独创，它对标的是云计算行业中早已存在的 Spot 实例、可抢占虚拟机等模式。真正的差异在于，Together 面向的是 GPU 集群这一特定且高价值的资源池，针对的正是对价格最敏感的 AI 训练和推理负载。对于预算有限的研究团队、初创公司或任何需要跑大批量实验的用户，这意味着在相同预算下可以跑两倍的任务量。

五分钟排空窗口意味着什么

可抢占计算的最大风险是任务可能被中途打断。Together 给出的五分钟排空窗口，是对这一风险的直接缓解措施。相比某些平台只给出几十秒甚至无提前通知的抢占机制，五分钟是一个相对宽裕的时间——足以触发检查点（checkpoint）保存、优雅关闭进程或将任务迁移。

这对工作负载的设计提出了明确要求：任务必须是可中断、可恢复的。在实践中，这意味着需要在训练流程中实现周期性的 checkpoint 机制，确保被抢占后能从最近的保存点继续，而不是从头再来。对于设计良好的分布式训练框架和推理服务来说，这类容错能力本就是标准配置，因此接入可抢占计算的改造成本并不高。

检查点（Checkpoint）机制是深度学习训练中的核心容错手段，指定期将模型权重、优化器状态（如 Adam 的动量与方差）、当前训练步数等完整训练状态序列化并持久化到存储介质。一旦任务中断，可从最近一次 checkpoint 恢复，而非从第零步重新开始。主流训练框架如 PyTorch 的 torch.save / torch.load、Hugging Face Transformers 的 Trainer 类、以及分布式训练框架 DeepSpeed 和 Megatron-LM，均内置了周期性 checkpoint 的支持。在可抢占场景下，合理的 checkpoint 频率需要在存储开销与可能的重计算成本之间取得平衡——保存过于频繁会占用大量 I/O 带宽和存储空间，保存过于稀疏则在被抢占后损失的计算量更多。五分钟的排空窗口为自动触发一次最终 checkpoint 提供了充足的操作时间，这是该参数在工程上的直接价值。

适合哪些场景

可抢占计算并非万能，它更适合那些对中断容忍度较高的场景：

• 大规模模型训练与微调：配合 checkpoint 机制，被抢占后可无缝续跑，用一半价格换取更长训练时长。
• 批量离线推理：没有严格实时性要求的批处理任务，中断后重排即可。
• 超参数搜索与实验：大量并行的短任务，单个任务被抢占影响有限。
• 数据预处理与特征工程：可拆分、可重跑的流水线作业。

相对地，对延迟敏感、要求持续在线的生产级推理服务，则更适合保留在按需或预留实例上。合理的做法往往是混合部署：核心在线服务用稳定实例，弹性和批量负载用可抢占实例，从而在成本与可靠性之间取得平衡。

行业意义

Together 此举反映出 AI 基础设施市场正在走向更精细的资源定价与分层供给。随着大模型训练与推理需求持续增长，算力提供方需要同时满足两类用户：一类追求极致稳定性，愿意付全价；另一类对价格敏感、愿意用灵活性换折扣。可抢占计算正好填补了后者的需求。

从更宏观的角度看，这种模式也有助于提升整体算力利用率——让原本可能闲置的 GPU 资源流转起来，对平台和用户都是双赢。对于正在评估 GPU 云服务的团队，Together 的这一选项值得纳入成本优化的考量范围，关键是评估自身负载的中断容忍度，并做好 checkpoint 等容错设计。