概念可抢占实例 / Spot Instance / 竞价实例
Spot实例
云厂商将闲置计算资源以折扣价出售的商业模式,云厂商保留随时回收资源的权利,通常给出30秒到2分钟的预警窗口,价格和可用性高度依赖区域供需
时间轴 (近 90 天)
10月16日
Spot实例在美欧工作日的白天是高峰时段,容量紧张、抢占频繁;深夜和周末则供给充裕、价格更低。
待验证50%
10月16日
判断是否适合使用Spot的决策规则:批量推理、支持检查点或无状态负载、可容忍5-10分钟中断、实验场景成本优先时适合Spot;面向真实用户有延迟SLA、模型加载超过2分钟、美欧高峰时段、中断成本超过节省金额时适合按需实例。
待验证50%
10月16日
$0.20/小时的Spot实例,每小时被抢占3次、70B模型每次重载4分钟时,重载开销为$0.04/小时,有效费率约$0.24/小时;但如果每小时被抢占10次,有效费率升至$0.33/小时。
待验证50%
8月26日
Spot实例利用云数据中心的闲置产能,价格通常比按需定价低60%-90%,但可能随时被回收
待验证60%
全部知识事实 (4)
待验证
Spot实例利用云数据中心的闲置产能,价格通常比按需定价低60%-90%,但可能随时被回收
60%待验证Spot实例在美欧工作日的白天是高峰时段,容量紧张、抢占频繁;深夜和周末则供给充裕、价格更低。
50%待验证判断是否适合使用Spot的决策规则:批量推理、支持检查点或无状态负载、可容忍5-10分钟中断、实验场景成本优先时适合Spot;面向真实用户有延迟SLA、模型加载超过2分钟、美欧高峰时段、中断成本超过节省金额时适合按需实例。
50%待验证$0.20/小时的Spot实例,每小时被抢占3次、70B模型每次重载4分钟时,重载开销为$0.04/小时,有效费率约$0.24/小时;但如果每小时被抢占10次,有效费率升至$0.33/小时。
50%