云服务和API领域的标准技术手段,用于防止系统过载和滥用,在AI订阅产品中以每分钟请求数、每天任务数或每月token消耗上限等形式呈现
API异常中网关速率限制返回429错误,负载均衡器在后端不可用时返回502/503错误,GPU内存不足可能导致请求终止