概念缩容至零
scale-to-zero
云原生和GPU按需平台的资源调度策略,无请求时销毁后端worker实例释放GPU资源,新请求到来时重新拉起实例,闲置不产生费用但增加冷启动延迟
时间轴 (近 90 天)
10月13日
在同一块 H100 上,一次 scale-to-zero 冷唤醒大约占用了 77.3 计费秒中的 75 秒,服务器才具备应答能力。
待验证50%
10月12日
在长驻服务中CUDA graph录制成本被摊薄到成千上万次推理里几乎可以忽略;但在scale-to-zero冷启动场景中,录制只发生一次却要立刻投入使用,于是从性能优化变成预热税。
待验证50%
10月12日
scale-to-zero是云原生和GPU按需平台的一种资源调度策略:没有请求时销毁worker实例不占GPU,新请求到来时重新拉起实例。
待验证50%
10月12日
作者建议运行scale-to-zero服务时记录三个时间节点:计费开始到健康检查通过、计费开始到第一个完成的请求、最后一个请求之后的空闲尾部,并按整个计费时长定价。
待验证50%
全部知识事实 (4)
待验证
在同一块 H100 上,一次 scale-to-zero 冷唤醒大约占用了 77.3 计费秒中的 75 秒,服务器才具备应答能力。
50%待验证在长驻服务中CUDA graph录制成本被摊薄到成千上万次推理里几乎可以忽略;但在scale-to-zero冷启动场景中,录制只发生一次却要立刻投入使用,于是从性能优化变成预热税。
50%待验证scale-to-zero是云原生和GPU按需平台的一种资源调度策略:没有请求时销毁worker实例不占GPU,新请求到来时重新拉起实例。
50%待验证作者建议运行scale-to-zero服务时记录三个时间节点:计费开始到健康检查通过、计费开始到第一个完成的请求、最后一个请求之后的空闲尾部,并按整个计费时长定价。
50%