概念Serverless GPU服务
Serverless GPU
一种按需分配GPU算力的云计算模式，无需预留固定实例，请求到来时自动唤醒并按实际使用时间计费，适合流量不稳定的AI推理工作负载
时间轴 (近 90 天)
9月29日
Databricks的方案通过AI Runtime与Model Serving将开放权重决策模型部署到Serverless GPU上
待验证50%
9月29日
无服务器GPU可按需拉起、用完释放，团队无需为闲置GPU资源付费或操心底层调度
待验证50%
9月12日
冷启动（Cold Start）指从实例被拉起、加载容器、载入模型权重到能够响应推理请求的这段延迟时间
待验证50%