[控场AI]
概念缩容至零

scale-to-zero

云原生和GPU按需平台的资源调度策略,无请求时销毁后端worker实例释放GPU资源,新请求到来时重新拉起实例,闲置不产生费用但增加冷启动延迟

时间轴 (近 90 天)

10月13日

在同一块 H100 上,一次 scale-to-zero 冷唤醒大约占用了 77.3 计费秒中的 75 秒,服务器才具备应答能力。

待验证50%
10月12日

在长驻服务中CUDA graph录制成本被摊薄到成千上万次推理里几乎可以忽略;但在scale-to-zero冷启动场景中,录制只发生一次却要立刻投入使用,于是从性能优化变成预热税。

待验证50%
10月12日

scale-to-zero是云原生和GPU按需平台的一种资源调度策略:没有请求时销毁worker实例不占GPU,新请求到来时重新拉起实例。

待验证50%
10月12日

作者建议运行scale-to-zero服务时记录三个时间节点:计费开始到健康检查通过、计费开始到第一个完成的请求、最后一个请求之后的空闲尾部,并按整个计费时长定价。

待验证50%

全部知识事实 (4)

来源文章