[控场AI]
概念Serverless Inference / Serverless推理

无服务器推理

一种AI模型推理部署模式,模型实例按需启动、用完即销毁,由平台负责弹性伸缩,用户无需管理底层GPU资源,适合间歇性负载场景

时间轴 (近 90 天)

10月12日

无服务器推理(Serverless Inference)适合流量稀疏或突发性的场景,按调用次数计费。

待验证50%
10月4日

无服务器推理模式下模型实例按需启动、用完即销毁,平台负责弹性伸缩;专用推理模式下用户为特定模型保留固定GPU实例,持续运行

待验证50%

全部知识事实 (2)

来源文章