[控场AI]
概念可抢占实例 / Spot Instance / 竞价实例

Spot实例

云厂商将闲置计算资源以折扣价出售的商业模式,云厂商保留随时回收资源的权利,通常给出30秒到2分钟的预警窗口,价格和可用性高度依赖区域供需

时间轴 (近 90 天)

10月16日

Spot实例在美欧工作日的白天是高峰时段,容量紧张、抢占频繁;深夜和周末则供给充裕、价格更低。

待验证50%
10月16日

判断是否适合使用Spot的决策规则:批量推理、支持检查点或无状态负载、可容忍5-10分钟中断、实验场景成本优先时适合Spot;面向真实用户有延迟SLA、模型加载超过2分钟、美欧高峰时段、中断成本超过节省金额时适合按需实例。

待验证50%
10月16日

$0.20/小时的Spot实例,每小时被抢占3次、70B模型每次重载4分钟时,重载开销为$0.04/小时,有效费率约$0.24/小时;但如果每小时被抢占10次,有效费率升至$0.33/小时。

待验证50%
8月26日

Spot实例利用云数据中心的闲置产能,价格通常比按需定价低60%-90%,但可能随时被回收

待验证60%

全部知识事实 (4)

来源文章