Celery是一个基于Python的开源分布式任务队列框架,用于处理异步任务和定时任务调度。它支持多种消息中间件(如RabbitMQ、Redis)作为任务代理,能够将耗时操作从主程序中解耦并分发至多个工作节点并发执行,广泛应用于Web应用后端、数据处理及自动化工作流等场景。
Celery是Python生态中最成熟的分布式任务队列框架
Celery的核心架构由Producer、Broker和Worker三个组件构成,Broker通常使用Redis或RabbitMQ
FastAPI调用Celery的.delay()方法将任务序列化写入Redis队列,操作通常在1-5毫秒内完成
该架构的异步任务模式为:FastAPI在Supabase中创建项目记录,将生成任务提交到Celery队列,立即返回Job ID给前端